Webseiten-Audit: URL-Einstellungen und Crawl-Verzögerung
Das neueste Update unseres Site Audit Tools enthält zwei häufig nachgefragte Funktionen, die Benutzern die genauere Anpassung von Crawler-Einstellungen ermöglichen: die erweiterten Einstellungen zum URL-Parameterausschluss und die Crawl-Verzögerungsfunktion.
Erweiterter URL-Parameterausschluss
Sie können jetzt angeben, welche URL-Parameter vom Site Audit-Crawler ignoriert werden sollen. Für einfachere Benutzung funktioniert die neue Parameter-Entfernungsfunktion ähnlich wie die URL-Parametereinstellungen in der Google Search Console. Wenn Sie zum Beispiel Site Audit so einstellen, dass alle UTM-Codes ignoriertwerden sollen. Wenn Sie zum Beispiel Site Audit so einstellen, dass alle UTM-Codes ignoriert werden sollen, verarbeitet der Crawler http://example.com/webpage.html und http://example.com/webpage.html?utm_media=blog as als gleiche URL.
Sie können Ihre Liste der ausgeschlossenen URL-Parameter erstellen oder bearbeiten, indem Sie auf das Zahnradsymbol in der Site Audit-Benutzeroberfläche klicken und dann die Option 'Removed parameters' im Dropdown-Menü auswählen, so wie auf dem folgenden Bild gezeigt.
Dann können Sie URL-Parameter auswählen, die vor dem Crawlen entfernt werden sollen, indem Sie einen Parameter pro Zeileeingeben. Wenn Sie fertig sind, klicken Sie auf 'Save' and lassen ihren Site Audit erneut laufen, sodass alle Veränderungen angewendet werden.
Crawl-Verzögerung
Normalerweise ignoriert der Site Audit-Crawler den Parameter 'Crawl-Verzögerung' der in einer robots.txt-Datei spezifiziert ist, um den Crawling-Prozess zu beschleunigen. Jedoch kann in seltenen Fällen eine solche Crawling-Intensität eine Website überlasten. Um dies zu verhindern, können Nutzer jetzt die Regel 'Respect robots.txt crawl delay' in den Site Audit-Einstellungen verwenden.
Dafür klicken Sie auf das Zahnradsymbol auf der Site Audit-Benutzeroberfläche und wählen die Option 'Respect robots.txt crawl delay' im Dropdown-Menü aus.
Dies öffnet die Site Audit-Einstellungen. Dort markieren Sie die 'Respect robots.txt crawl delay' Option und klicken Sie auf 'Save' um die neuen Einstellungen anzuwenden.
Wir hoffen, dass diese neuen Funktionen Ihre Erfahrung mit Site Audit verbessern! Bitte senden Sie Ihre Anregungen, Vorschläge und Fragen an site-audit-feedback@semrush.com Danke, dass Sie uns helfen, SEMrush zu verbessern!