Wissen
Semrush-Toolkits
SEO
Site Audit
Site Audit konfigurieren

Site Audit konfigurieren

Um ein Site Audit einzurichten, müssen Sie zunächst ein Projekt für die Domain erstellen. Sobald Ihr neues Projekt eingerichtet ist, klicken Sie auf die Schaltfläche „Einrichten“ im Abschnitt „Site Audit“ Ihres Projekt-Dashboards.

Falls Sie Probleme haben, Ihr Site Audit auszuführen, schauen Sie sich bitte Fehlerbehebung bei Site Audit an, um Unterstützung zu erhalten.

Domain und Seitenlimit

Sie werden zum ersten Teil des Einrichtungsassistenten geleitet: Domain und Seitenlimit. Hier aus können Sie entweder „Site Audit starten“ auswählen, das sofort ein Audit Ihrer Website mit unseren Standard-Einstellungen durchführt. Oder Sie passen die Einstellungen für Ihr Audit nach Ihren Wünschen an. Aber keine Sorge: Sie können Ihre Einstellungen jederzeit ändern und Ihr Audit erneut ausführen, um einen genauer eingegrenzten Bereich Ihrer Website zu crawlen, nachdem Sie die initiale Einrichtung abgeschlossen haben.

Crawl-Bereich

Um eine bestimmte Domain, Subdomain oder einen Unterordner zu crawlen, können Sie dies im Feld „Crawl-Bereich“ eingeben. Wenn Sie eine Domain in dieses Feld eingeben, können Sie über ein Kontrollkästchen auswählen, dass alle Subdomains Ihrer Domain gecrawlt werden sollen.

Standardmäßig überprüft das Tool die Root-Domain. Dabei sind alle verfügbaren Subdomains und Unterordner Ihrer Website eingeschlossen. In den Einstellungen von Site Audit können Sie Ihre Subdomain oder Ihren Unterordner als Crawl-Bereich angeben und das Häkchen bei „Alle Subdomains crawlen“ entfernen, falls Sie nicht möchten, dass andere Subdomains gecrawlt werden.

Nehmen wir an, Sie möchten nur den Blog Ihrer Website überprüfen. Sie können als Crawl-Bereich blog.semrush.com oder semrush.com/blog/angeben – je nachdem, ob es sich um eine Subdomain oder einen Unterordner handelt.

Ein Fenster mit den grundlegenden Einstellungen für Site Audit: Crawl-Bereich, Limit für geprüfte Seiten und Crawl-Quelle. Ein roter Pfeil zeigt auf die Zeile „Beispiele anzeigen“ unter „Crawl-Bereich“. Hier lassen sich Beispiele dafür öffnen, wie Root-Domains, Subdomains und Unterordner aussehen.

Ein GIF zeigt die grundlegenden Einstellungen für Site Audit an. Die Anzahl der Seiten und eine Crawl-Quelle werden ausgewählt, um die verfügbaren Optionen zu zeigen. Nachdem die gewünschte Anzahl der zu crawlenden Seiten und eine Crawl-Quelle ausgewählt wurden, bewegt sich der Mauszeiger nach unten auf die grüne Schaltfläche „Site Audit starten“.

Limit für geprüfte Seiten

Als Nächstes wählen Sie aus, wie viele Seiten Sie pro Audit crawlen möchten. Sie können einen benutzerdefinierten Wert eingeben, indem Sie die Option „Benutzerdefiniert“ verwenden. Sie sollten diese Zahl mit Bedacht wählen. Denn sie hängt von der Stufe Ihres Pakets ab und davon, wie oft Sie Ihre Website erneut prüfen möchten.

  • Benutzer von Pro können bis zu 100.000 Seiten pro Monat und 20.000 Seiten pro Audit crawlen.
  • Benutzer von Guru können 300.000 Seiten pro Monat und 20.000 Seiten pro Audit crawlen.
  • Benutzer von Business können bis zu 1 Million Seiten pro Monat und 100.000 Seiten pro Audit crawlen.

Crawl-Quelle

Die Einstellung der Crawl-Quelle bestimmt, wie der Site Audit-Bot von Semrush Ihre Website crawlt und die zu prüfenden Seiten findet. Zusätzlich zur Festelegung der Crawl-Quelle können Sie in den Schritten 3 und 4 des Einrichtungsassistenten Masken und Parameter zum Einschließen/Ausschließen beim Audit festlegen.

Es gibt 4 Optionen, die Sie als Crawl-Quelle für Ihr Audit festlegen kannst: Website, Sitemaps auf der Website, Sitemap-URL eingeben und URLs aus Datei.

1. Crawlen von der Website bedeutet, dass wir Ihre Website wie der GoogleBot crawlen, indem wir einen Breadth-first-Suchalgorithmus verwenden und durch die Links navigieren, die wir im Code Ihrer Seite finden – beginnend mit der Startseite.

Wenn Sie nur die wichtigsten Seiten einer Website crawlen möchten, können Sie statt der Website die Sitemap auswählen. So können beim Audit die wichtigsten Seiten gecrawlt werden und nicht nur diejenigen, die von der Startseute aus am leichtesten erreichbar sind.

2. Crawlen von Sitemaps auf der Website bedeutet, dass wir nur die URLs crawlen, die in der Sitemap aus der robots.txt-Datei enthalten sind.

3. Crawlen anhand der eingegebenen Sitemap-URL funktioniert genauso wie das Crawlen von „Sitemaps auf der Website“, aber mit dieser Option können Sie Ihre Sitemap-URL konkret eingeben.

Da Suchmaschinen Sitemaps verwenden, um zu erkennen, welche Seiten sie crawlen sollen, sollten Sie immer versuchen, Ihre Sitemap so aktuell wie möglich zu halten und sie in unserem Tool als Crawl-Quelle verwenden, um ein möglichst präzises Audit durchführen zu können.

Hinweis: Site Audit kann immer nur eine Sitemap-URL als Crawl-Quelle gleichzeitig verwenden. Falls Ihre Website mehrere Sitemaps hat, könnte die nächste Option (Crawlen von URLs aus Datei) als Workaround funktionieren.

4. Beim Crawling aus einer Datei mit URLs können Sie eine besonders spezifische Gruppe von Seiten auf einer Website prüfen. Achten Sie darauf, dass Ihre Datei als .csv oder .txt mit einer URL pro Zeile formatiert ist. Laden Sie sie direkt von Ihrem Computer in Semrush hoch.

Dies ist eine nützliche Methode, falls Sie bestimmte Seiten überprüfen und Ihr Crawl-Budget schonen möchten. Wenn Sie nur eine kleine Anzahl von Seiten auf Ihrer Website geändert haben, die Sie überprüfen möchten, können Sie mit dieser Methode ein sehr spezifisches Audit durchführen, ohne Crawl-Budget zu verschwenden.

Nach dem Hochladen Ihrer Datei wird Ihnen der Assistent mitteilen, wie viele URLs erkannt wurden. So können Sie vor der Ausführung des Audits überprüfen, ob alles ordnungsgemäß funktioniert hat.

Fenster mit Site Audit-Einstellungen. Als Crawl-Quelle ist die Option „URLs aus Datei“ ausgewählt und hervorgehoben. Um die Funktionsweise zu zeigen, wurde eine Beispieldatei hochgeladen. Das Tool hat die Anzahl der in der Datei gefundenen URLs angegeben (97 URLs). Die Anzahl wird in diesem Menü ebenfalls hervorgehoben.

JavaScript crawlen

Wenn du JavaScript auf Ihrer Website verwenden, können Sie JS-Rendering in den Einstellungen Ihrer Site Audit-Kampagne aktivieren.

Site Audit settings window with the second tab, Crawler settings, on display. The JS rendering part, which is the last one on this tab, is highlighted to make this option easier to find.

Bitte beachten Sie, dass diese Funktion nur in einem Guru- und Business-Paket verfügbar ist.

Erweiterte Einrichtung und Konfiguration

Hinweis: Die folgenden vier Schritte der Konfiguration sind fortgeschritten und optional.

Crawler-Einstellungen

Hier können Sie den User Agent auswählen, mit dem Sie Ihre Website crawlen möchten. Legen Sie zunächst den User Agent für Ihr Audit fest. Wählen Sie zwischen der Mobil- oder Desktop-Version des SiteAuditBot oder des GoogleBot.

Standardmäßig überprüfen wir Ihre Website mit unserem Crawling-Bot für Mobil-Seiten, der Ihre Website auf die gleiche Weise überprüft, wie der Crawler für Mobil-Seiten von Google Ihre Website überprüfen würde. Sie können den Bot jederzeit auf den Semrush Desktop Crawler ändern. 

Menü für Site Audit-Einstellungen. Im zweiten Tabe mit dem Titel „Crawler-Einstellungen“ ist der Abschnitt „User Agent“ hervorgehoben. Bei der Auswahl des User Agent ist die Standardoption aktiviert: SiteAuditBot-Mobile.

Wenn Sie den User Agent ändern, wird sich auch der Code im Dialogfeld unten ändern. Dies ist der Code des User Agents. Er kann in einem Curl verwendet werden, falls Sie den User Agent selbst testen möchten.

Optionen zur Crawl-Verzögerung

Als Nächstes haben Sie 3 Optionen zum Festlegen einer Crawl-Verzögerung: Mindestverzögerung, robots.txt beachten und 1 URL pro 2 Sekunden.

Falls Sie diese Mindestverzögerung zwischen den Seiten aktiviert lassen, crawlt der Bot Ihre Website mit seiner normalen Geschwindigkeit. Standardmäßig wartet SiteAuditBot vor dem Crawl einer weiteren Seite etwa eine Sekunde.

Wenn Sie eine robots.txt Datei auf Ihrer Website und eine Crawl-Verzögerung angegeben haben, können Sie die Option „robots.txt beachten“ auswählen. Dann wird unser Site Audit Crawler der hier angegebenen Verzögerung folgen.

Unten sehen Sie, wie eine Crawl-Verzögerung in einer robots.txt-Datei aussehen würde:

Crawl-delay: 20

Wenn unser Crawler Ihre Website langsamer macht und Sie keine Direktive zur Crawl-Verzögerung in Ihrer robots.txt-Datei angegeben haben, können Sie Semrush anweisen, 1 URL alle 2 Sekunden zu crawlen. Dies kann dazu führen, dass es länger dauert, bis Ihr Audit abgeschlossen ist. Es wird jedoch weniger potenzielle Geschwindigkeitsprobleme für echte Benutzer auf Ihrer Website während des Audits verursachen.

URLs zulassen/verbieten

Mit dieser Option können Sie ausgewählte Unterordner einer Website gezielt crawlen oder blockieren. Sie sollten alles innerhalb der URL nach der TLD einschließen. Wenn Sie zum Beispiel den Unterordner http://www.example.com/shoes/mens/ crawlen möchten, müssen Sie „/Schuhe/Herren/“ in das Feld für erlaubte URLs auf der linken Seite eingeben.

Schritt zum Zulassen/Verbieten von URLs in den Einstellungen von Site Audit. Im Screenshot sehen Sie zwei Felder für die Masken der zugelassenen und nicht zugelassenen URLs. Im Feld für die zugelasenen URLs wird folgendes Beispiel hinzugefügt: /shoes/mens/. Ein roter, hierhin zeigender Pfeil weist darauf hin, dass die Masken dieses Format haben müssen, um korrekt angewendet zu werden.

Um zu verhindern, dass bestimmte Unterordner gecrawlt werden, müssen Sie den Pfad des Unterordners in das Feld für nicht zugelassene URLs eingeben. Um beispielsweise die Kategorie Herrenschuhe zu crawlen, aber die Unterkategorie Wanderschuhe unter Herrenschuhe (https://example.com/shoes/mens/hiking-boots/) zu vermeiden, geben Sie /shoes/mens/hiking-boots/ in das Feld für die nicht zugelassenen URLs ein.

Beispiel für die weitere Festlegung der Masken-Einstellungen für zugelassene und nicht zugelassene URLs. Im Feld mit den zugelassenen URLs zeigt ein roter Pfeil auf das gleiche Beispiel: /Schuhe/Männer/. Bei den nicht zugelassenen URLs zeigt ein zweiter Pfeil auf /shoes/mens/hiking-boots, um darauf hinzuweisen, dass bestimmte Unterordner trotz einer Allow-Direktive für diesen Bereich ausgeschlossen werden können.

Wenn Sie vergessen, am Ende der URL in das Feld mit den nicht zugelassenen URLs den Schrägstrich (/) einzugeben (z. B. /shoes), wird Semrush alle Seiten im Unterordner /shoes/ sowie alle URLs, die mit /shoes beginnen (wie z. B. www.example.com/shoes-men), überspringen. 

URL-Parameter entfernen

URL-Parameter(auch bekannt als Query-Strings) sind Elemente einer URL, die nicht zur hierarchischen Pfadstruktur gehören. Stattdessen werden sie am Ende einer URL angehängt und geben dem Webbrowser logische Anweisungen.

URL-Parameter beginnen immer mit einem „?“, gefolgt von dem Parameternamen (page, utm_medium, etc.) und „=“.

„?page=3“ ist also ein einfacher URL-Parameter, der die dritte Seite beim Blättern auf einer einzelnen URL anzeigen kann.

Im vierten Schritt der Konfiguration von Site Audit können Sie alle URL-Parameter angeben, die Ihre Website verwendet, um sie beim Crawlen aus den URLs zu entfernen. So können Sie verhindern, dass Semrush dieselbe Seite während Ihres Audits zweimal crawlt. Wenn ein Bot zwei URLs sieht – eine mit einem Parameter und eine ohne – kann es sein, dass er beide Seiten crawlt und dadurch Ihr Crawl-Budget verschwendet.

Schritt „URL-Parameter entfernen“ in den Einstellungen von Site Audit. In den Parameter-Feldern werden mehrere Beispieloptionen angezeigt, auf die ein roter Pfeil zeigt, um darauf aufmerksam zu machen, wie das Format der URL-Parameter aussehen sollte, damit es funktioniert.

Wenn Sie zum Beispiel „page“ in dieses Feld eintragen, werden alle URLs entfernt, die „page“ in der URL-Erweiterung enthalten. Das wären URLs mit Werten wie ?page=1, ?page=2 usw. So wird verhindert, dass dieselbe Seite zweimal gecrawlt wird (z. B. sowohl „/shoes“ als auch „/shoes/?page=1“ als eine URL).

URL-Parameter werden häufig für Seiten, Sprachen und Unterkategorien verwendet. Diese Arten von Parametern sind nützlich für Websites mit großen Produkt- oder Informationskatalogen. Ein weiterer gängiger URL-Parametertyp sind UTMs. Sie werden zum Tracking von Klicks und Traffic aus Marketingkampagnen verwendet.

Falls Sie bereits ein Projekt eingerichtet haben und Ihre Einstellungen ändern möchten, können Sie dies über die Einstellungen tun, die Sie über das Zahnrad-Symbol erreichen:

Bericht „Übersicht“ in Site Audit mit dem Einstellungsmenü, das über das Zahnradsymbol oben rechts geöffnet wird. Das Einstellungs-Menü ist ein Dropdown-Menü und kann nach unten gescrollt werden, um weitere Einstellungsoptionen anzuzeigen. Die Liste dieser Optionen ist rot hervorgehoben, ebenso das Zahnradsymbol, damit Sie es leichter finden können.

Sie gehen wie oben beschrieben vor und wählen die Optionen „Masken“ und „Entfernte Parameter“ aus.

Website-Einschränkungen umgehen

Um eine Website zu prüfen, die noch nicht live oder hinter einer Basisauthentifizierung verborgen ist, bietet Schritt 5 zwei Möglichkeiten:

  1. Umgehen der Disallow-Direktive in der robots.txt-Datei und dem robots-Meta-Tag
  2. Crawlen mit Ihren Anmeldedaten, in passwortgeschützte Bereiche zu gelangen

Wenn Sie die Disallow-Direktiven in der robots.txt-Datei oder im Meta-Tag umgehen möchten (normalerweise finden Sie diesen innerhalb des Head-Elements Ihrer Website), müssen Sie die von Semrush bereitgestellte Datei in den Hauptordner Ihrer Website hochladen.

Sie können diese Datei genauso hochladen, wie Sie eine Datei für die GSC-Verifizierung hochladen würden, zum Beispiel direkt in den Hauptordner Ihrer Website. Dieser Vorgang überprüft, ob Sie Inhaber der Website sind, und ermöglicht uns, die Website zu crawlen.

Der Schritt „Website-Einschränkungen umgehen“ in den Einstellungen von Site Audit. Jedes Widget in diesem Schritt ist rot hervorgehoben. Ein roter Pfeil unter der Zahl 1 zeigt auf die aktivierte Option „Disallow in robots.txt und als robots-Meta-Tag umgehen“. Der zweite Pfeil unter der Zahl 2 zeigt auf die Option „Crawl mit Ihren Anmeldeinformationen“. Die Option „Crawl mit Ihren Anmeldeinformationen“ ist ebenfalls aktiviert und zeigt die Felder für den Benutzernamen und das Kennwort an.

Sobald die Datei hochgeladen ist, können Sie das Site Audit durchführen und Ergebnisse sammeln.

Um ein Crawling mit Ihren Anmeldedaten durchzuführen, geben Sie einfach den Benutzernamen und das Passwort ein, mit denen Sie auf den versteckten Teil Ihrer Website zugreifen. Unser Bot verwendet dann Ihre Anmeldedaten, um auf die versteckten Bereiche zuzugreifen und Ihnen die Ergebnisse des Audits zu liefern.

Zeitplan

Schließlich können Sie noch auswählen, wie häufig wir Ihre Website automatisch überprüfen sollen. Ihre Optionen sind:

  • Wöchentlich (wählen Sie einen beliebigen Wochentag aus)
  • Täglich
  • Einmal

Sie können die Prüfung innerhalb des Projekts zu jedem gewünschten Zeitpunkt erneut durchführen.

Ein Beispiel für die Zeitplan-Optionen im letzten Tab des Einrichtungsmenüs von Site Audit. Es öffnet sich ein Dropdown-Menü, das die Optionen „Wöchentlich“ für jeden Wochentag, „Täglich“ und „Einmal crawlen“ anzeigt.

Nachdem Sie alle gewünschten Einstellungen vorgenommen haben, wählen Sie „Site Audit starten“.

Problembehebung

Falls die Meldung „Fehler beim Audit von [Domain]“ erscheint, sollten Sie sicherstellen, das unser Site Audit-Crawler nicht von Ihrem Server blockiert wird. Um einen ordnungsgemäßen Crawl zu gewährleisten, befolgen Sie bitte unsere Schritte unter Fehlerbehebung bei Site Audit, damit unser Bot auf die Whitelist gesetzt wird. 

Alternativ können Sie die Protokolldatei herunterladen, die beim fehlgeschlagenen Crawl erstellt wird, und sie Ihrem Webmaster zur Verfügung stellen. Er kann dann die Situation analysieren und versuchen, einen Grund dafür zu finden, weshalb wir beim Crawlen ausgesperrt werden.

So verknüpfen Sie Google Analytics mit Site Audit

Nachdem Sie den Einrichtungsassistenten abgeschlossen haben, können Sie Ihr Google Analytics-Konto verbinden, um Probleme einzuschließen, die in Zusammenhang mit Ihren am häufigsten aufgerufenen Seiten auftreten. 

Sollten beim Ausführen Ihres Site Audits weiterhin Probleme auftreten, versuchen Sie es mit Fehlerbehebung bei Site Audit.

Häufig gestellte Fragen Mehr anzeigen
Anleitung Mehr anzeigen
Workflows Mehr anzeigen