Wie Semrush Traffic-Daten in Wissen verwandelt

Vielleicht hast du dich auch schon mal gefragt, woher die Traffic-Informationen stammen, die du in Traffic Analytics und Market Explorer abrufen kannst.

Dieser Beitrag erklärt die wichtigsten Prozesse, die dem zugrunde liegen – von der Rohdatenerfassung bis hin zu den praxisrelevanten Informationen, die in den Tools erscheinen.

Im Wesentlichen durchlaufen die Daten vier Phasen:

1. Datenerfassung
2. Datenbereinigung
3. Datenmodellierung
4. Datenauslieferung

Datenerfassung

Alle ein bis zwei Tage erhalten wir von einer Auswahl verschiedener Drittanbieter Terabyte an Daten. Dies sind sogenannte Clickstream-Daten – sie bieten eine aggregierte Ansicht von Millionen realer, aber anonymisierter Online-Bewegungen von Internetnutzern.

In den Clickstream-Daten können wir allgemeine Zahlen und Trends zum Nutzerverhalten identifizieren.

Datenbereinigung

Alle Daten werden aggregiert und im Traffic-Analytics-System in ein gemeinsames Format gebracht.

Mit unserem proprietären Modell für maschinelles Lernen bereinigen wir Daten von verschiedenen Anomalien.

Während unsere KI weiter lernt, beginnt sie ähnlich wie ein menschliches Gehirn Muster zu erkennen. So verwandelt sich unser Modell in einen komplexen Algorithmus, der Anomalien identifizieren und zweifelhafte Daten besser von aussagekräftigen unterscheiden kann.

Wir überprüfen die Daten auch anhand der Semrush-Datenbanken für Backlinks und organische SERP-Positionen, um abzugleichen, ob sie den Besonderheiten jedes Landes und Geräts entsprechen.

Wenn die Daten mit unserem Algorithmus überprüft wurden, bieten sie ein realistischeres Bild der Sitzungen der generischen User, und auf diesem Datensatz bauen wir unsere Interaktions-Metriken auf.

Datenmodellierung und -auslieferung

An diesem Punkt haben wir ein großes Datenfeld, in dem wir die Clickstream- und die proprietären Daten speichern.

Bevor wir diese Daten in unser Maschinenlernmodell einspeisen, durchlaufen sie eine weitere Prüfung. Wir normalisieren die Daten anhand der Beliebtheit der Domain sowie des "typischen" Benutzerverhaltens über alle Länder, demographischen Gruppen, Geräte und verschiedene Branchen hinweg.

Zum Beispiel wird ein Nutzer aus den USA, der nur einmal im Monat online ist, eher Google (eine beliebte Domain) besuchen als die Website der Arzneimittelbehörde FDA (eine deutlich weniger besuchte Domain). Also nehmen wir den Teil der Nutzer mit sehr schwacher Aktivität heraus, um genauere Daten für beliebte und weniger besuchte Websites zu erhalten.

Dies hilft uns, unser Maschinenlernmodell mit aussagekräftigeren Daten zu versorgen.

Der Algorithmus durchläuft überwachtes Lernen, sodass sich unsere Big-Data-Technologie täglich verbessert.

Die Abdeckung der Semrush Traffic-Daten

Der Steigerung der Datenqualität sind keine Grenzen gesetzt. Daher arbeiten wir ständig daran, unsere Tools durch neue Daten zu erweitern, während unsere KI- und Big-Data-Technologien lernen und ihre Algorithmen weiterentwickeln.

Kürzlich haben wir unser Datenverarbeitungsmodell für die Erfassung von Traffic-Informationen erneuert, wodurch wir unsere Traffic-Daten-Abdeckung um 20 % erweitern konnten.

Unten kannst du sehen, was sich genau geändert hat.

*Ereignisse repräsentieren die Tatsache, dass ein Benutzer eine bestimmte Webseite besucht hat.

**Sitzungen sind ein Satz von Aktionen, die ein Benutzer während eines begrenzten Zeitrahmens auf einer bestimmten Website ausführt. In Semrush .Trends bezeichnen wir Sitzungen als Besuche.