So optimierst du die Crawling-Geschwindigkeit deines Site Audits

Wenn du deine Webseite mit dem Site Audit prüfst, senden wir einen Crawler, der die Seiten gemäß deiner vorherigen Auswahl im Tool untersucht. 

Es ist dabei jedoch möglich, dass wir auf Probleme beim Crawling stoßen, wie zum Beispiel:

• Der Crawler durchsucht die Webseite zu schnell und bringt damit eine Webseite zum Absturz oder macht sie für Benutzer langsamer.
• Der Crawler durchsucht die Webseite zu schnell und als Ergebnis können die Seiten nicht vollständig geladen werden. Dann erscheint der Hinweis "false positives" oder wir melden Probleme in deinen Ergebnissen, die nicht aufgetreten wären, wäre das Audit langsamer abgelaufen und die Webseite nicht abgestürzt. 
• Der Crawler braucht zu lange, um die Webseite zu crawlen und du wartest zu lange auf deine Ergebnisse.

Das Site Audit beschleunigen

Wenn dein Site Audit zu langsam crawlt, dann kannst du es über die Crawler Settings im Konfigurationsfenster beschleunigen. 

Um dein Site Audit zu beschleunigen, wähle "Minimum delay between pages" aus, um die Seite so schnell wie möglich zu crawlen. 

Mit dieser Einstellung stellst du sicher, dass unsere Bots jede Crawling-Verzögerung in der robots.txt Datei ignoriert and so schnell wie möglich crawlt.

Bist du dann immer noch nicht mit der Geschwindigkeit des Crawls zufrieden, gibt es noch die Möglichkeit, deine Seiten schneller zu laden. Laden Seiten langsam, verlangsamt sich dadurch auch der Crawl. 

Denke aber bitte daran, dass ein Crawling mit sehr hoher Geschwindigkeit zum langsameren Laden der Webseite für deine Besucher führen kann. 

Daher ist es in einigen Fällen besser, den Crawl eher zu verlangsamen, als ihn zu beschleunigen. 

Das Site Audit verlangsamen

Ist das Site Audit beim Crawlen zu schnell, kann es zum vorübergehenden Absturz deiner Webseite kommen oder es verlangsamt die Seite für deine Besucher und erzeugt falsch-positive Ergebnisse. Verlangsame die Geschwindigkeit beim Crawlen, um sicherzustellen, dass deine Ergebnisse auch wirklich die Erfahrung deiner Besucher auf der Webseite repräsentieren. 

Um dein Audit zu verlangsamen, gibt es mehrere Optionen in deinen Konfigurationseinstellungen:

• Sag dem Tool, es soll 1 URL alle 2 Sekunden crawlen. Das stellt sicher, dass der Crawl deinen Webserver nicht in kurzer Zeit mit einer Fülle an Aktivitäten überlastet. 
• Implementiere eine benutzerdefinierte Verzögerung für den Crawl deiner Webseite in die robots.txt Datei. Bei Auswahl der Option "respect robotos.txt" in der Konfiguration, erhält unser Bot den Befehl, die Seiten in dem von dir festgelegten Tempo zu crawlen.
  
  Wenn du beispielsweise "Crawl-delay:5" in die robots.txt Datei einfügst, dann wartet der Bot 5 Sekunden, ehe er die Webseite betritt und die nächste Seite durchsucht. Auch hierdurch wird sichergestellt, dass das Crawlen in einem Tempo erfolgt, bei dem die Webseite nicht abstürzt oder langsamer wird (siehe unten).

  User-agent: SemrushBot
  Crawl-delay: 5
  
  User-agent: SiteAuditBot
  Crawl-delay: 5

   

Bitte beachte: die maximale Verzögerung beim Crawlen, die wir dir anbieten können, liegt bei 30. Das bedeutet, dass jeder Wert über 30 für unseren Bot als 30 interpretiert wird. 

Solltest du immer noch Schwierigkeiten im Site Audit haben, dann versuche unseren Troubleshooting Guide oder kontaktiere unser Support-Team.