Über den 404scout-Crawler

404scout prüft Websites im Auftrag ihrer Betreiber auf tote Links. Wenn dieser Crawler deine Website besucht hat, hat jemand ihre Adresse bei uns eingegeben, um sie auf kaputte Links zu prüfen.

So verhält sich der Crawler

• User-Agent: 404scout/0.1 (+https://404scout.de/bot)
• Maximal 2 Anfragen pro Sekunde pro Host
• robots.txt wird respektiert, inklusive Crawl-delay
• Anonyme Schnell-Checks sind auf 100 Seiten begrenzt
• Externe Links werden mit einzelnen HEAD/GET-Anfragen geprüft

Crawling unterbinden

Trage den Crawler in deine robots.txt ein, dann werden deine Seiten nicht mehr gecrawlt:

User-agent: 404scout
Disallow: /