Was ist eine XML-Sitemap - Anleitung: Erstellen, einrichten und nutzen

In meinen ersten Wochen bei Atlassian war ich auf der Suche nach einem Quick-Win, um im Unternehmen Fuß zu fassen und SEO zu etablieren. Also überprüfte ich unsere Hauptseite und stellte fest, dass sie keine XML-Sitemap hatte. Was für ein einfacher Punktgewinn!

Ich ging zu den Entwicklern und bat sie, die Sitemap im CMS zu aktivieren. Zu meiner Überraschung sagten sie mir, dass dies nicht möglich sei – ich war verblüfft.

Nach einigem Nachdenken erinnerte ich mich daran, dass Screaming Frog eine XML-Sitemap-Funktion hat. Also scrapte ich die Seite und lud das Crawling-Ergebnis als XML-Sitemap hoch. Das Ergebnis: Google nahm den Upload innerhalb von ein paar Sekunden wahr und als Folge konnten wir in den nächsten Tagen einen spürbaren Einfluss auf unseren Traffic feststellen.

Die Moral von der Geschichte: XML-Sitemaps sind wichtig und werden manchmal unterschätzt.

Was ist eine XML-Sitemap?

XML-Sitemap ist eine digitale Karte, die Google dabei unterstützt, wichtige Seiten auf deiner Website zu entdecken und die Häufigkeit von Aktualisierungen zu erkennen.

Google erklärt auf seiner Google Search Central:

“Eine Sitemap gibt Google Auskunft darüber, welche Seiten und Dateien auf deiner Website du für besonders wichtig hältst, und sie liefert dazu wertvolle Zusatzinformationen, z. B. darüber, wann die Seite zuletzt aktualisiert wurde, oder zu alternativen Sprachversionen der Seite.“

Wieso ist eine XML-Sitemap wichtig?

Laut Gary Illyes sind XML-Sitemaps die zweitwichtigste Quelle für URLs, die von Googlebots gecrawlt werden – gleich nach Hyperlinks und zuvor entdeckten URLs. Sitemaps haben also einen signifikanten Einfluss und sollten nicht unterschätzt werden!

Google begann 2005 mit der Verwendung von XML-Sitemaps - kurze Zeit später schlossen sich Suchmaschinen wie MSN oder Yahoo an. Heutzutage werden Sitemaps für noch mehr Zwecke als nur die URL-Ermittlung genutzt.

Wann brauchst du eine XML-Sitemap?

Jede Website sollte eine XML-Sitemap haben. Sie sind insbesondere wichtig für:

• große Websites
• neue Websites
• Websites mit vielen verwaisten Unterseiten
• Seiten mit vielen Bildern und Videos

Unterschied Robots.txt und XML-Sitemap

Während die robots.txt dir hilft, Teile deiner Seite von der Platzierung in Suchmaschinen auszuschließen, bewirken XML-Sitemaps genau das Gegenteil. Sie helfen den Suchmaschinen, neue Seiten zu entdecken - auch dann, wenn sie nicht von der Hauptseite verlinkt sind.

Vorteile von XML-Sitemap

Sitemaps werden im XML-Format erstellt, wodurch Google sie schnell analysieren und neue URLs finden kann. XML - eXtensible Markup Language - ist leichtgewichtig, zwischen verschiedenen Geräten kompatibel und wurde für die Datenspeicherung entwickelt.

XML-Sitemap bei Suchmaschinen einreichen

Du kannst ganz einfach überprüfen, ob deine Seite eine Sitemap hat. Dazu schaust du in der Google Search Console oder in den Bing Webmaster Tools unter "Sitemaps" nach. Die meisten Suchmaschinen wie z.B. Google oder Bing suchen nach dem "Sitemap: <sitemap_location>"-Eintrag (oder Einträgen) in der robots.txt-Datei deiner Seite.

Alternativ kannst du deine Sitemap auch direkt

1. bei Google einreichen
2. bei Baidu einreichen
3. bei Bing einreichen
4. bei Yandex einreichen

XML-Sitemaps bei Bing Webmaster Tools einreichen

1: Sitemaps-Bericht.

2: Hinzufügen neuer Sitemap-Pfade.

3: Bestehende Sitemaps, die Bing gefunden hat.

XML-Sitemaps bei Google Search Console einreichen

1: Sitemaps Bericht.

2: Hinzufügen neuer Sitemap-Pfade.

3: Bestehende Sitemaps, die Google gefunden hat.

Unterschiede HTML Sitemap vs. XML Sitemaps

Es gibt zwei Arten von Sitemaps: HTML-Sitemap und XML-Sitemap. Was ist der Unterschied?

1. Du wirst das Format bemerken.

HTML ist grundlegend anders als XML. Ein wesentlicher Unterschied: Während HTML-Sitemaps für die Nutzer der Seite sichtbar sind, stellen XML-Sitemaps Feeds für Suchmaschinen dar.

Man könnte sagen, dass HTML-Sitemaps auch für Suchmaschinen erstellt werden, aber im Gegensatz zu XML-Sitemaps auch für den User nützlich sind.

2. Sie dienen dem gleichen Zweck, aber auf unterschiedliche Weise.

Beide Sitemaps helfen den Suchmaschinen, neue URLs zu entdecken – egal ob Seiten, Videos oder Bilder.

XML-Sitemaps sind benutzerdefinierte Feeds. Diese helfen den Suchmaschinen dabei, die Priorität der zu crawlenden URLs zu verstehen und zu erkennen, wie oft sich diese ändern und welche neuen URLs der Seite hinzugefügt wurden. Das ist besonders hilfreich für Suchmaschinenplaner, da diese mit XML-Sitemaps besser abschätzen können, wann und wie oft eine URL neu gecrawlt werden muss.

HTML-Sitemaps unterstützen Suchmaschinen ebenfalls dabei, neue URLs zu erkennen. Sie tun dies aber durch die Identifizierung von Links, denen sie folgen. Das bedeutet, dass HTML-Sitemaps nur dann ein effektives Werkzeug zur Identifizierung von URLs sein können, wenn sie auch gecrawlt werden und wenn den Links gefolgt wird. Du kannst das nachvollziehen, indem du dir deine Logdateien ansiehst.

3. Sie haben unterschiedliche positive Nebeneffekte.

XML-Sitemaps haben Meta-Attribute wie <changefreq> oder <lastmod>. Mit diesen Attributen zeigen sie an, wie sich der Zustand der URL ändert. Zudem können XML-Sitemaps auch Erweiterungen für Videos, Bilder und Nachrichten beinhalten.

HTML-Sitemaps verteilen den PageRank über die gesamte Seite. Genau für diesen Zweck werden HTML-Sitemaps heutzutage hauptsächlich genutzt, abgesehen vom Navigationswert für die User. Da HTML-Sitemaps oft im Footer einer Seite verlinkt sind, werden sie in der Regel von jeder Seite verlinkt und können diesen eingehenden PageRank an andere Seiten mit schwächerer interner Verlinkung weitergeben.

Arten von XML Sitemaps

Auch wenn XML-Sitemaps im RSS-, mRSS-, Atom 1.0- oder Textformat eingereicht werden können, bezieht sich der "Typ" einer Sitemap auf ihren Inhalt oder den "Medientyp":

• Nachrichten
• Video
• Bild

Wie ich weiter unten noch erläutern werde, kannst du entweder Sitemaps mit einem bestimmten Medientypen erstellen oder sie in deine reguläre XML-Sitemap integrieren.

XML Sitemap Mindestanforderungen

Damit deine XML-Sitemaps optimal funktionieren, musst du die folgenden Standards erfüllen. Eine XML-Sitemap sollte:

• nur kanonische URLs mit einem 200 Status Code enthalten,
• bis zu 200.000 URLs pro Sitemap und bis zu 50.000 Sitemaps pro Index-Sitemap aufnehmen können,
• in der robots.txt referenziert sein,
• gemäß BUTF-8 kodiert sein,
• im .gz Format komprimiert werden,
• und nicht größer als 50 MB sein oder 50.000 URLs enthalten (was auch immer zuerst zutrifft).

Neben diesen Mindestanforderungen gibt es noch weitere Empfehlungen, um das Beste aus den XML-Sitemaps herauszuholen. Du kannst Google signalisieren, welche URLs wichtig sind, indem du nur wichtige Seiten in die XML-Sitemaps aufnimmst und sie häufig aktualisierst.

Die meisten CMS haben eine Funktion, um Sitemaps automatisch zu aktualisieren, wenn eine neue URL erstellt wird oder sich eine bestehende Seite ändert. Für Google kann die Aktualisierungs-Häufigkeit der Sitemap selbst und des lastmod-Tags der Seiten ein Signal für frischen Content sein. Ob das für das Ranking wichtig ist, hängt von der Seite und dem Kontext ab.

Stell dir eine XML-Sitemap wie einen Stadtplan für Touristen vor – wobei die Stadt deine Website und der Tourist Google ist. Du willst sicherstellen, dass nur die wichtigen Gebäude und nicht jede einzelne Adresse enthalten sind. Genau aus diesem Grund sollten unwichtige Seiten nicht aufgenommen werden. Typische Beispiele für solche Seiten sind deine Datenschutzbestimmungen oder die „Über uns“-Seite. Diese Seiten sollten zwar indexiert werden, müssen aber nicht oft gecrawlt werden und sind im Zusammenhang mit SEO nicht wichtig.

XML Sitemap bei großen Websites

Neben den Standardanforderungen gibt noch mehr, was du zur Optimierung deiner Sitemap-Performance tun kannst.

Große Seiten wie etwa Nachrichtenverlage nutzen Index-Sitemaps, die (bis zu 50.000) normale Sitemaps enthalten und dabei nicht größer als 50 MB sind. Sie sind wie eine Art XML-Sitemap-Mutterschiff, das viele kleinere Sitemaps trägt. Große Seiten brauchen diese Index-Sitemaps, weil sie nicht in eine einzige Sitemap passen. Du solltest aber ohnehin nicht versuchen, alle Seiten in einer einzigen Sitemap unterzubringen.

Du kannst das Beste aus diesen Sitemaps herausholen, indem du sie entweder pro Seitentyp oder pro Thema strukturierst. In der Praxis würdest du dedizierte XML-Sitemaps pro Unterverzeichnis oder Seitenvorlage erstellen, um ein Erkenntnisse zu technischen Schwierigkeiten und Indexierungsproblemen auf deiner Seite zu erlangen.

Es gibt spezielle XML-Sitemaps für bestimmte Einsatzfälle. Seiten mit starker Rich-Media-Ausprägung wie etwa Pinterest oder YouTube können sich Bild- oder Video-Sitemaps zunutze machen. Verlage sollten hingegen spezielle News-Sitemaps verwenden.

Bilder-Sitemaps erhöhen die Chance, dass deine Seite in der Google Bildersuche gefunden wird. Du musst dabei keine spezielle Bilder-Sitemap haben, sondern kannst stattdessen auch Bilderweiterungen in deiner regulären Sitemap nutzen.

So sehen die Bilderweiterungen aus ( XML-Spezifikationen):

Video-Sitemaps funktionieren nach dem gleichen Prinzip: Entweder du erstellst eine eigene Sitemap oder du fügst Erweiterungen zu deiner regulären Sitemap hinzu:

Wenn du so vorgehst, dann solltest du mit den Metadaten, die du zu Video-Sitemaps oder Erweiterungen hinzufügst, vorsichtig umgehen.

Google sagt dazu: "Google könnte den Text auf der Video-Landingpage anstelle des Textes in deiner Sitemap verwenden, wenn der Seitentext als nützlicher angesehen wird als die Informationen in der Sitemap." Sie beziehen sich dabei auf den Text, der durch die Description bereitgestellt wird. Neben einer Description kannst du Google aber auch mit einem Thumbnail, der Länge des Videos, der Bewertung, der Familienfreundlichkeit und weiteren Informationen füttern ( vollständige Liste der Meta-Daten der Video-XML-Sitemap). Für Seiten mit vielen Videos ist diese Vorgehensweise sinnvoll. Für andere Seiten ist dies hingegen als optional zu betrachten.

News-Sitemaps unterscheiden sich insofern, als dass du dabei immer eine separate News-XML-Sitemap einrichten solltest. Google empfiehlt in diesem Fall keine Erweiterungen – und bietet diese auch gar nicht an. News-Sitemaps helfen Google dabei, neue Artikel zu entdecken und zu ranken, was vor allem in der Verlagsbranche mit der großen Menge an Content-Produktion eine Herausforderung ist. Auch wenn Google angibt, dass Verlage mit News-Sitemaps nicht bevorzugt werden: Eine News-Sitemap hilft dabei, dass brandaktuelle Nachrichten schneller in den Google News gerankt werden.

News-Sitemaps haben besondere Anforderungen:

• Verwende ausschließlich Artikel, die nicht älter als 2 Tage sind.
• Füge nicht mehr als 1.000 neue Einträge auf einmal zu einer bestehenden Sitemap hinzu.
• Aktualisiere bestehende Sitemaps im Fall von Artikel-Updates.

Du kannst XML-Sitemaps auch verwenden, um bestimmte Meta-Tags für Google zu definieren und anzugeben. Ein Beispiel ist der Tag hreflang, den du als Erweiterung zu einer Sitemap hinzufügen kannst (vollständige Richtlinien):

Priority - Attribut in XML Sitemap

Google ignoriert das Prioritätsattribut in XML-Sitemaps, achtet aber laut John Mueller auf lastmod. Google bestimmt die Priorität deiner Seiten dabei selbst, wahrscheinlich durch die Bewertung von Popularität und Autorität. Lastmod ist jedoch ein Tag, der die letzte Änderung einer URL angibt. Diese letzte Änderung ist für Google wirklich interessant.

XML Sitemap für AMP

Dub braucjst keine XML Sitemap für AMP. John Mueller sagt darüber hinaus auch, dass du keine XML-Sitemaps für AMP-URLs hinzufügen musst.

XML Sitemap Best und Worst Practices

Bei Atlassian haben wir die fehlende XLM-Sitemap-Funktionalität unseres CMS mit dem XML-Sitemap-Provider eines Drittanbieters gelöst. Das hat optimal funktioniert.

Auch wenn das Format textbasiert anstelle einer XML-Formatierung ist, funktioniert es.

Die New York Times verweist in der robots.txt auf ihre Sitemaps und trennt dabei Formate wie Videos oder Nachrichten. Sie geht sogar noch einen Schritt weiter und hat Sitemaps für bestimmte Kategorien wie Kochen oder Wahlen eingerichtet.

Es ist sinnvoll, dedizierte XML-Sitemaps einzurichten. Dadurch weiß der Publisher rechtzeitig, wie schnell Google die Inhalte aufnimmt und ob alle Seiten ohne Probleme indiziert werden können.

Walmart nutzt eine ähnliche, kategoriebezogene Aufteilung, die für E-Commerce-Seiten sehr sinnvoll ist. Dabei werden Master-XML-Sitemaps für Themen und Kategorien verwendet.

Wie du im Screenshot unten erkennen kannst, sieht Walmart durch die Themenaufteilung Walmart, wie Google verschiedene Bereiche der Seite wie Mode oder Unterhaltung indexiert.

Wenn du eine Seite hast, die in Themen, Kategorien oder beides aufgeteilt ist, ist die separate Erstellung einer eigenen XML-Sitemap empfehlenswert. Es gibt keinen bekannten Nachteil, wenn gleiche URLs in verschiedenen Sitemaps zu finden sind.

XML-Sitemaps Fehler

Trotz intensiver Bemühungen kann beim Einrichten von Sitemaps einiges schiefgehen. Hier sind ein paar typische Probleme:

Leere Sitemap

Der Fehler „Leere Sitemap“ kann darauf hinweisen,

• dass du eine leere Datei hochgeladen hast.
• dass du ein falsches HTML-Tag verwendet haben könntest und die Bots deine Seite nicht finden können.
• dass du die Datei möglicherweise im falschen Format gespeichert hast, sodass die Bots sie nicht finden können.

Du kannst dieses Sitemap-Problem beheben, indem du den Dateinamen, die Dateierweiterung oder die Datei selbst überprüfst. Dabei kannst du schnell feststellen, ob Inhalte enthalten sind.

HTTP-Fehler

404-HTTP-Fehler sind besonders ernst zu nehmen. Sie können anzeigen, dass die Seite, die der Bot abrufen will, nicht vorhanden ist oder ein Serverproblem aufweist. 

Referenziere die XML-Datei über den korrekten Pfad in der robots.txt, damit Google sie auch findet. Vergewissere dich bei deinem Webhoster, ob technische Probleme vorliegen.

Falscher Namespace

Ein Namespace ist eine Klasse von Elementen (wie Dateispeicherorte oder Adressen), in der jedes Element einen eindeutigen Namen hat.

Wenn du diesen Fehler erhältst, hast du vielleicht einen Namespace falsch benannt oder Namespaces dupliziert. Überprüfe, ob ein Namespace falsch geschrieben wurde.

Überprüfe deine Labels und die Schreibweisen für deine Namespaces.

SEMrush Tipp: Mit dem Semrush Site Audit Tool kannst du jede Website überprüfen und auf sechs spezifische Probleme in Bezug auf XML-Sitemaps überprüfen. Das Tool prüft zunächst, ob eine sitemap.xml vorhanden ist. Im Anschluss sucht das Audit Tool nach Formatierungsfehlern, falschen Seiten in der Sitemap und anderen Problemen, die die Übersichtlichkeit deiner Sitemap beeinträchtigen könnten.

XML Sitemap Tools und Generatoren

Die meisten Content Management Systeme verfügen bereits über Funktionen zur automatischen Erstellung einer XML-Sitemap. Bei einigen CMS ist diese Funktion aber nicht implementiert – in diesem Fall benötigst du ein Tool von einem Drittanbieter.

In diesem Artikel habe ich sie für dich zusammengefasst: Die besten XML Sitemap Generator Tools.