Warum habe ich für einige meiner Seiten den Hinweis „Seite ist nicht erreichbar“ erhalten?

Diese Meldung wird angezeigt, wenn der On Page SEO Checker Crawler blockiert wurde oder nicht in der Lage war, deine Seite zu crawlen. Bitte überprüfe die Datei robots.txt auf deiner Website, um sicherzustellen, dass sie unseren Bots das Crawlen deiner Seiten erlaubt.

Wenn unsere Bots nicht in robots.txt blockiert sind, musst du die folgenden IP-Adressen und User-Agents bei deinem Hosting-Provider und allen Plugins/Diensten, mit denen du deine Website verwaltest (z. B. Cloudflare, ModSecurity), auf eine Whitelist setzen, um das Problem zu lösen:

85.208.98.53
85.208.98.0/24
User-Agent: SemrushBot-SI

Du kannst den Port mit einer der folgenden Optionen angeben:

Port 80: HTTP
Port 443: HTTPS

Darüber hinaus solltest du auch den Site-Audit-Bot auf die Whitelist setzen, der zum Crawlen von Seiten mit der folgenden IP-Adresse verwendet wird:

85.208.98.128/25 (ein Subnetz, das nur von Site Audit verwendet wird)
Name des User-Agents: SiteAuditBot