Um ein Site Audit einzurichten, müssen Sie zunächst ein Projekt für die Domain erstellen. Sobald Ihr neues Projekt eingerichtet ist, klicken Sie auf die Schaltfläche „Einrichten“ im Abschnitt „Site Audit“ Ihres Projekt-Dashboards.
Falls Sie Probleme haben, Ihr Site Audit auszuführen, schauen Sie sich bitte Fehlerbehebung bei Site Audit an, um Unterstützung zu erhalten.
Domain und Seitenlimit
Sie werden zum ersten Teil des Einrichtungsassistenten geleitet: Domain und Seitenlimit. Hier aus können Sie entweder „Site Audit starten“ auswählen, das sofort ein Audit Ihrer Website mit unseren Standard-Einstellungen durchführt. Oder Sie passen die Einstellungen für Ihr Audit nach Ihren Wünschen an. Aber keine Sorge: Sie können Ihre Einstellungen jederzeit ändern und Ihr Audit erneut ausführen, um einen genauer eingegrenzten Bereich Ihrer Website zu crawlen, nachdem Sie die initiale Einrichtung abgeschlossen haben.
Crawl-Bereich
Um eine bestimmte Domain, Subdomain oder einen Unterordner zu crawlen, können Sie dies im Feld „Crawl-Bereich“ eingeben. Wenn Sie eine Domain in dieses Feld eingeben, können Sie über ein Kontrollkästchen auswählen, dass alle Subdomains Ihrer Domain gecrawlt werden sollen.
Standardmäßig überprüft das Tool die Root-Domain. Dabei sind alle verfügbaren Subdomains und Unterordner Ihrer Website eingeschlossen. In den Einstellungen von Site Audit können Sie Ihre Subdomain oder Ihren Unterordner als Crawl-Bereich angeben und das Häkchen bei „Alle Subdomains crawlen“ entfernen, falls Sie nicht möchten, dass andere Subdomains gecrawlt werden.
Nehmen wir an, Sie möchten nur den Blog Ihrer Website überprüfen. Sie können als Crawl-Bereich blog.semrush.com oder semrush.com/blog/angeben – je nachdem, ob es sich um eine Subdomain oder einen Unterordner handelt.
Limit für geprüfte Seiten
Als Nächstes wählen Sie aus, wie viele Seiten Sie pro Audit crawlen möchten. Sie können einen benutzerdefinierten Wert eingeben, indem Sie die Option „Benutzerdefiniert“ verwenden. Sie sollten diese Zahl mit Bedacht wählen. Denn sie hängt von der Stufe Ihres Pakets ab und davon, wie oft Sie Ihre Website erneut prüfen möchten.
- Benutzer von Pro können bis zu 100.000 Seiten pro Monat und 20.000 Seiten pro Audit crawlen.
- Benutzer von Guru können 300.000 Seiten pro Monat und 20.000 Seiten pro Audit crawlen.
- Benutzer von Business können bis zu 1 Million Seiten pro Monat und 100.000 Seiten pro Audit crawlen.
Crawl-Quelle
Die Einstellung der Crawl-Quelle bestimmt, wie der Site Audit-Bot von Semrush Ihre Website crawlt und die zu prüfenden Seiten findet. Zusätzlich zur Festelegung der Crawl-Quelle können Sie in den Schritten 3 und 4 des Einrichtungsassistenten Masken und Parameter zum Einschließen/Ausschließen beim Audit festlegen.
Es gibt 4 Optionen, die Sie als Crawl-Quelle für Ihr Audit festlegen kannst: Website, Sitemaps auf der Website, Sitemap-URL eingeben und URLs aus Datei.
1. Crawlen von der Website bedeutet, dass wir Ihre Website wie der GoogleBot crawlen, indem wir einen Breadth-first-Suchalgorithmus verwenden und durch die Links navigieren, die wir im Code Ihrer Seite finden – beginnend mit der Startseite.
Wenn Sie nur die wichtigsten Seiten einer Website crawlen möchten, können Sie statt der Website die Sitemap auswählen. So können beim Audit die wichtigsten Seiten gecrawlt werden und nicht nur diejenigen, die von der Startseute aus am leichtesten erreichbar sind.
2. Crawlen von Sitemaps auf der Website bedeutet, dass wir nur die URLs crawlen, die in der Sitemap aus der robots.txt-Datei enthalten sind.
3. Crawlen anhand der eingegebenen Sitemap-URL funktioniert genauso wie das Crawlen von „Sitemaps auf der Website“, aber mit dieser Option können Sie Ihre Sitemap-URL konkret eingeben.
Da Suchmaschinen Sitemaps verwenden, um zu erkennen, welche Seiten sie crawlen sollen, sollten Sie immer versuchen, Ihre Sitemap so aktuell wie möglich zu halten und sie in unserem Tool als Crawl-Quelle verwenden, um ein möglichst präzises Audit durchführen zu können.
Hinweis: Site Audit kann immer nur eine Sitemap-URL als Crawl-Quelle gleichzeitig verwenden. Falls Ihre Website mehrere Sitemaps hat, könnte die nächste Option (Crawlen von URLs aus Datei) als Workaround funktionieren.
4. Beim Crawling aus einer Datei mit URLs können Sie eine besonders spezifische Gruppe von Seiten auf einer Website prüfen. Achten Sie darauf, dass Ihre Datei als .csv oder .txt mit einer URL pro Zeile formatiert ist. Laden Sie sie direkt von Ihrem Computer in Semrush hoch.
Dies ist eine nützliche Methode, falls Sie bestimmte Seiten überprüfen und Ihr Crawl-Budget schonen möchten. Wenn Sie nur eine kleine Anzahl von Seiten auf Ihrer Website geändert haben, die Sie überprüfen möchten, können Sie mit dieser Methode ein sehr spezifisches Audit durchführen, ohne Crawl-Budget zu verschwenden.
Nach dem Hochladen Ihrer Datei wird Ihnen der Assistent mitteilen, wie viele URLs erkannt wurden. So können Sie vor der Ausführung des Audits überprüfen, ob alles ordnungsgemäß funktioniert hat.
JavaScript crawlen
Wenn du JavaScript auf Ihrer Website verwenden, können Sie JS-Rendering in den Einstellungen Ihrer Site Audit-Kampagne aktivieren.
Bitte beachten Sie, dass diese Funktion nur in einem Guru- und Business-Paket verfügbar ist.
Erweiterte Einrichtung und Konfiguration
Hinweis: Die folgenden vier Schritte der Konfiguration sind fortgeschritten und optional.
Crawler-Einstellungen
Hier können Sie den User Agent auswählen, mit dem Sie Ihre Website crawlen möchten. Legen Sie zunächst den User Agent für Ihr Audit fest. Wählen Sie zwischen der Mobil- oder Desktop-Version des SiteAuditBot oder des GoogleBot.
Standardmäßig überprüfen wir Ihre Website mit unserem Crawling-Bot für Mobil-Seiten, der Ihre Website auf die gleiche Weise überprüft, wie der Crawler für Mobil-Seiten von Google Ihre Website überprüfen würde. Sie können den Bot jederzeit auf den Semrush Desktop Crawler ändern.
Wenn Sie den User Agent ändern, wird sich auch der Code im Dialogfeld unten ändern. Dies ist der Code des User Agents. Er kann in einem Curl verwendet werden, falls Sie den User Agent selbst testen möchten.
Optionen zur Crawl-Verzögerung
Als Nächstes haben Sie 3 Optionen zum Festlegen einer Crawl-Verzögerung: Mindestverzögerung, robots.txt beachten und 1 URL pro 2 Sekunden.
Falls Sie diese Mindestverzögerung zwischen den Seiten aktiviert lassen, crawlt der Bot Ihre Website mit seiner normalen Geschwindigkeit. Standardmäßig wartet SiteAuditBot vor dem Crawl einer weiteren Seite etwa eine Sekunde.
Wenn Sie eine robots.txt Datei auf Ihrer Website und eine Crawl-Verzögerung angegeben haben, können Sie die Option „robots.txt beachten“ auswählen. Dann wird unser Site Audit Crawler der hier angegebenen Verzögerung folgen.
Unten sehen Sie, wie eine Crawl-Verzögerung in einer robots.txt-Datei aussehen würde:
Crawl-delay: 20
Wenn unser Crawler Ihre Website langsamer macht und Sie keine Direktive zur Crawl-Verzögerung in Ihrer robots.txt-Datei angegeben haben, können Sie Semrush anweisen, 1 URL alle 2 Sekunden zu crawlen. Dies kann dazu führen, dass es länger dauert, bis Ihr Audit abgeschlossen ist. Es wird jedoch weniger potenzielle Geschwindigkeitsprobleme für echte Benutzer auf Ihrer Website während des Audits verursachen.
URLs zulassen/verbieten
Mit dieser Option können Sie ausgewählte Unterordner einer Website gezielt crawlen oder blockieren. Sie sollten alles innerhalb der URL nach der TLD einschließen. Wenn Sie zum Beispiel den Unterordner http://www.example.com/shoes/mens/ crawlen möchten, müssen Sie „/Schuhe/Herren/“ in das Feld für erlaubte URLs auf der linken Seite eingeben.
Um zu verhindern, dass bestimmte Unterordner gecrawlt werden, müssen Sie den Pfad des Unterordners in das Feld für nicht zugelassene URLs eingeben. Um beispielsweise die Kategorie Herrenschuhe zu crawlen, aber die Unterkategorie Wanderschuhe unter Herrenschuhe (https://example.com/shoes/mens/hiking-boots/) zu vermeiden, geben Sie /shoes/mens/hiking-boots/ in das Feld für die nicht zugelassenen URLs ein.
Wenn Sie vergessen, am Ende der URL in das Feld mit den nicht zugelassenen URLs den Schrägstrich (/) einzugeben (z. B. /shoes), wird Semrush alle Seiten im Unterordner /shoes/ sowie alle URLs, die mit /shoes beginnen (wie z. B. www.example.com/shoes-men), überspringen.
URL-Parameter entfernen
URL-Parameter(auch bekannt als Query-Strings) sind Elemente einer URL, die nicht zur hierarchischen Pfadstruktur gehören. Stattdessen werden sie am Ende einer URL angehängt und geben dem Webbrowser logische Anweisungen.
URL-Parameter beginnen immer mit einem „?“, gefolgt von dem Parameternamen (page, utm_medium, etc.) und „=“.
„?page=3“ ist also ein einfacher URL-Parameter, der die dritte Seite beim Blättern auf einer einzelnen URL anzeigen kann.
Im vierten Schritt der Konfiguration von Site Audit können Sie alle URL-Parameter angeben, die Ihre Website verwendet, um sie beim Crawlen aus den URLs zu entfernen. So können Sie verhindern, dass Semrush dieselbe Seite während Ihres Audits zweimal crawlt. Wenn ein Bot zwei URLs sieht – eine mit einem Parameter und eine ohne – kann es sein, dass er beide Seiten crawlt und dadurch Ihr Crawl-Budget verschwendet.
Wenn Sie zum Beispiel „page“ in dieses Feld eintragen, werden alle URLs entfernt, die „page“ in der URL-Erweiterung enthalten. Das wären URLs mit Werten wie ?page=1, ?page=2 usw. So wird verhindert, dass dieselbe Seite zweimal gecrawlt wird (z. B. sowohl „/shoes“ als auch „/shoes/?page=1“ als eine URL).
URL-Parameter werden häufig für Seiten, Sprachen und Unterkategorien verwendet. Diese Arten von Parametern sind nützlich für Websites mit großen Produkt- oder Informationskatalogen. Ein weiterer gängiger URL-Parametertyp sind UTMs. Sie werden zum Tracking von Klicks und Traffic aus Marketingkampagnen verwendet.
Falls Sie bereits ein Projekt eingerichtet haben und Ihre Einstellungen ändern möchten, können Sie dies über die Einstellungen tun, die Sie über das Zahnrad-Symbol erreichen:
Sie gehen wie oben beschrieben vor und wählen die Optionen „Masken“ und „Entfernte Parameter“ aus.
Website-Einschränkungen umgehen
Um eine Website zu prüfen, die noch nicht live oder hinter einer Basisauthentifizierung verborgen ist, bietet Schritt 5 zwei Möglichkeiten:
- Umgehen der Disallow-Direktive in der robots.txt-Datei und dem robots-Meta-Tag
- Crawlen mit Ihren Anmeldedaten, in passwortgeschützte Bereiche zu gelangen
Wenn Sie die Disallow-Direktiven in der robots.txt-Datei oder im Meta-Tag umgehen möchten (normalerweise finden Sie diesen innerhalb des Head-Elements Ihrer Website), müssen Sie die von Semrush bereitgestellte Datei in den Hauptordner Ihrer Website hochladen.
Sie können diese Datei genauso hochladen, wie Sie eine Datei für die GSC-Verifizierung hochladen würden, zum Beispiel direkt in den Hauptordner Ihrer Website. Dieser Vorgang überprüft, ob Sie Inhaber der Website sind, und ermöglicht uns, die Website zu crawlen.
Sobald die Datei hochgeladen ist, können Sie das Site Audit durchführen und Ergebnisse sammeln.
Um ein Crawling mit Ihren Anmeldedaten durchzuführen, geben Sie einfach den Benutzernamen und das Passwort ein, mit denen Sie auf den versteckten Teil Ihrer Website zugreifen. Unser Bot verwendet dann Ihre Anmeldedaten, um auf die versteckten Bereiche zuzugreifen und Ihnen die Ergebnisse des Audits zu liefern.
Zeitplan
Schließlich können Sie noch auswählen, wie häufig wir Ihre Website automatisch überprüfen sollen. Ihre Optionen sind:
- Wöchentlich (wählen Sie einen beliebigen Wochentag aus)
- Täglich
- Einmal
Sie können die Prüfung innerhalb des Projekts zu jedem gewünschten Zeitpunkt erneut durchführen.
Nachdem Sie alle gewünschten Einstellungen vorgenommen haben, wählen Sie „Site Audit starten“.
Problembehebung
Falls die Meldung „Fehler beim Audit von [Domain]“ erscheint, sollten Sie sicherstellen, das unser Site Audit-Crawler nicht von Ihrem Server blockiert wird. Um einen ordnungsgemäßen Crawl zu gewährleisten, befolgen Sie bitte unsere Schritte unter Fehlerbehebung bei Site Audit, damit unser Bot auf die Whitelist gesetzt wird.
Alternativ können Sie die Protokolldatei herunterladen, die beim fehlgeschlagenen Crawl erstellt wird, und sie Ihrem Webmaster zur Verfügung stellen. Er kann dann die Situation analysieren und versuchen, einen Grund dafür zu finden, weshalb wir beim Crawlen ausgesperrt werden.
So verknüpfen Sie Google Analytics mit Site Audit
Nachdem Sie den Einrichtungsassistenten abgeschlossen haben, können Sie Ihr Google Analytics-Konto verbinden, um Probleme einzuschließen, die in Zusammenhang mit Ihren am häufigsten aufgerufenen Seiten auftreten.
Sollten beim Ausführen Ihres Site Audits weiterhin Probleme auftreten, versuchen Sie es mit Fehlerbehebung bei Site Audit.