Warum erhalte ich für einige meiner Seiten den Hinweis „Seite ist nicht erreichbar“?

Diese Nachricht wird angezeigt, wenn der Crawler des On Page SEO Checker blockiert wurde oder Ihre Seite nicht crawlen konnte. Bitte überprüfen Sie die robots.txt-Datei auf Ihrer Website und stellen Sie sicher, dass sie User-Agents das Crawlen der Seiten erlaubt.

Wenn unsere Bots nicht in der robots.txt-Datei blockiert sind, müssen Sie die folgenden IP-Adressen und User-Agents bei Ihrem Hosting-Provider sowie bei allen Plugins/Diensten, mit denen Sie Ihre Website verwalten (z. B. Cloudflare, ModSecurity), auf eine Whitelist setzen, um das Problem zu beheben:

85.208.98.53
85.208.98.0/24
User-agent: SemrushBot-SI

Um den Port anzugeben, nutzen Sie eine der folgenden Optionen:

Port 80: HTTP
Port 443: HTTPS

Außerdem sollten Sie den Bot von Site Audit auf die Whitelist setzen, der unter folgender IP-Adresse zum Crawlen von Seiten verwendet wird:

85.208.98.128/25 (ein Subnetz, das ausschließlich von Site Audit verwendet wird)
Name des User-Agents: SiteAuditBot

Wenn Sie die Fehlermeldung „SEMRushBot-Desktop konnte die Seite nicht crawlen, weil sie durch die robots.txt blockiert wurde“ erhalten, erfüllen die Einstellungen für die Crawl-Verzögerung in Ihrer robots.txt-Datei nicht die Anforderungen des On Page SEO Checker. 

Die Crawler von On Page SEO Checker akzeptieren nur eine Crawl-Verzögerung von 1 Sekunde. Alle höheren Werte würde dazu führen, dass der Crawler die Seite ignoriert. Dies kann dazu führen, dass die Pop-up-Nachricht angezeigt wird und nur wenige Optimierungsideen für die konkrete Landing-Page vorgeschlagen werden.

Um dieses Problem zu beheben, ändern Sie die Crawl-Verzögerung in Ihrer robots.txt-Datei auf 1 Sekunde.