Follow Up: Umgang mit Bot Traffic in Adobe Analytics

Die fehlerfreie Analyse von Website & App Daten ist im Online Marketing entscheidend für den Erfolg von Kampagnen, die Optimierung von Benutzer-erfahrungen und die Steigerung der Conversion Rate. Diese Analyse wird durch unerwünschten Bot Traffic zunehmend erschwert, da dieser in der Regel verfälschte Daten liefert. Werden Bots nicht erkannt und entsprechend gefiltert, können sie zu unpräzisen Erkenntnissen führen. In unserem vergangenen Blogpost „Wie identifiziere ich Bot Traffic?“ haben wir bereits einen ersten Überblick darüber gegeben, was Bots eigentlich sind, welche unterschiedlichen Arten es gibt, wie sie identifizierbar sind und welche Gegenmaßnahmen daraus abgeleitet werden können.

In diesem „Follow Up“ Beitrag möchten wir nun näher auf die Möglichkeiten eingehen, die uns Adobe Analytics bietet, Bot Traffic zu markieren und entsprechend auszuschließen, um für eine saubere und verlässliche Datengrundlage zu sorgen. Zur praktischen Einordnung: Wir befinden uns an dem Punkt nach dem Data Processing und vorheriger Filter durch Dritte. Im Idealfall erkennen wir durch Anomalien bzw. Ausreißer bei bestimmten Werten oder einem deutlichen Traffic-Anstieg, dass es sich um Bot Traffic handeln könnte. Unsere Aufgabe ist es nun, Muster zu identifizieren, damit die verunreinigte Datengrundlage gesäubert werden kann. 

Identifizieren und Ausschließen 

Bereits in unserem ersten Beitrag haben wir erklärt, wie wichtig es ist, verschiedene Dimensionen und Metriken miteinander zu kombinieren. Daraus lassen sich klare Kriterien ableiten, um potenzielle Bots zu identifizieren. Ziel ist es, Traffic-Segmente zu erstellen, die bestimmte Bedingungen erfüllen und somit zukünftig eliminiert werden können.

Wie kann man Bot-Traffic nach der Identifikation ausschließen?

Hierzu schauen wir uns in diesem Beitrag eines der gängigsten Analytics Tools, Adobe Analytics, an. Der integrierten Bot-Filter arbeitet in dem Tool auf „Property“ – bzw. „Report Suite“ -Level, nicht auf Account-Level. Daher müssen in Adobe Analytics für jede Report Suite separate Bot-Regeln erstellt und gepflegt werden.

Umgang mit Bot Traffic in Adobe Analytics 

Adobe Analytics verfügt über einen integrierten Bot-Filter, der auf der „IAB/ABC International Spider and Bot List“ basiert. Diese Liste wurde vom International Advertising Bureau (IAB) ins Leben gerufen und wird kontinuierlich gepflegt und aktualisiert. Sie enthält bekannte Quellen für unerwünschten, nicht-menschlichen Traffic. Die Aktivierung dieses Filters ist ein einfacher und effektiver erster Schritt. Zusätzlich können individuelle Regel erstellt werden, die auf potentielle Bots angewandt werden sollen. 

Finden lassen sich diese Einstellungen im „Allgemein“-Reiter des Admin-Bereichs einer jeden Report Suite von Adobe Analytics (s. Abbildung 1). 

In diesem Menüpunkt können die Bot-Filterregeln nun mit einem einfachen „anhaken“ der Checkbox aktiviert werden (s. Abbildung 2).

Neben den standardisierten Bot-Filtern von Adobe Analytics bietet das Tool auch die Möglichkeit, eigene, individuelle Filterregeln zu erstellen. Damit dies erfolgreich gelingt, müssen Bots jedoch zunächst eindeutig identifiziert werden. Zur Filter Konfiguration stehen folgende Parameter zur Verfügung:

• Bot Name, 
• IP Begin, 
• IP End, 
• Rule, 
• User Agent Include, 
• User Agent Exclude. 

Kurz gesagt: Wir benötigen entweder Informationen über den User Agent, eine IP-Adresse oder einen gesamten IP-Bereich. Das Besondere: Es lassen sich auch mehrere Bedingungen pro Regel definieren. Dabei gilt eine „ODER“-Verknüpfung – die Regel ist also bereits erfüllt, sobald eine der definierten Bedingungen zutrifft.

Diese Parameter werden in einer CSV-Datei hinterlegt und können im Tool hochgeladen werden. Alle wichtigen Details zum korrekten Ausfüllen der Datei und dem Upload-Prozess können hier im Detail nachgelesen werden.

Sollten trotz der Filter weiterhin Bot-generierte Daten in die Report Suite gelangen, bleibt als letzte Option das Ausschließen von Bot-Traffic mittels Segmenten. Der Nachteil hierbei: Ihr habt für die Verarbeitung der Bot-Daten bereits gezahlt. Der Vorteil jedoch: Es besteht keine Gefahr, dass valide User fälschlicherweise ausgeschlossen werden (also kein „falsch-negativer Traffic“).

Bei der Segment-Erstellung kann man dann wiederum unterschiedlich vorgehen. So kann man nicht nur explizit Traffic ausschließen, sondern auch solchen einschließen, von dem man gesichert weiß, dass dieser nicht durch Bots generiert worden sein kann. Segment Definitionen können daher auf Interaktionen, Sitzungen oder Usern beruhen. Außerdem wäre eine Filterung basierend auf einer sequenziellen Abfolge von Interaktionen oder Sitzungen möglich.

Es geht in erster Linie darum, Marker für menschlichen oder nicht-menschlichen Traffic zu definieren. Die Indikatoren können von Website zu Website verschieden sein. Um Sitzungen von realen Nutzern zu erkennen, eignen sich z.B. Interaktionen mit der Website wie Registrierungen oder Logins. Neben spezifischen Events bietet sich auch eine Bot Erkennung basierend auf der Mausbewegung an, da Bots im Gegensatz zu realen Nutzern keinen Cursor benötigen, um über die Website zu navigieren. Wir können also bestimmte Gruppen aufgrund ihres Verhaltens einschließen („White-List“) oder ausschließen („Black-List“). Für den Ausschluss von Bot-Traffic eignen sich technische oder geographische Parameter besonders gut. Dazu zählen bestimmte „Internet Service Provider“ (ISP), Betriebssysteme, Browserversionen oder auch User Agents – oftmals auch in Segment Definitionen miteinander verknüpft. 

Segmente lassen sich in Adobe Analytics allgemein im Menüpunkt „Komponenten“ erstellen. Wie bereits in Abbildung 3 zu sehen ist, gelangt man dann in den „Segment“-Bereich. Hier werden alle bestehenden Segmente gelistet und verwaltet.

Um ein Segment zu erstellen, klickt man einfach auf den „Hinzufügen“ Button. Dann öffnet sich der Bereich aus Abbildung 4. Im oberen Bereich (1) kann man dem Segment einen Namen geben, eine Beschreibung hinzufügen (sehr hilfreich, wenn man das Segment nicht immer gleich öffnen möchte, um zu sehen, was es macht) und ein Tag vergeben (um es schneller wieder zu finden und zu gruppieren). Auf der rechten Seite (2) wird – sobald man die ersten Bedingungen definiert hat – direkt angezeigt, auf wieviel % des Gesamtvolumens sich das Segment auswirkt bzw. wieviel letztendlich davon übrig bleibt. Zur Definition der entsprechenden Bedingungen, kann man dann eine der Dimensionen, Metriken sowie andere Segmente von der rechten Seite (3) in die „Definitions-Box“ (4) ziehen.  

In Feld 4 kann dann der Scope (s. Abbildung 5, 1) festgelegt werden, auf dessen Ebene das Segment angewandt werden soll. Nachdem der gewünschte Parameter aus Box 3 (s. Abbildung 4) hinübergezogen wurde, kann der „Operator“ (s. Abbildung 5, 2) gewählt werden und mit den zuvor bestimmten Werten (Abbildung 5, 3) versehen werden.

Wenn die Definition des Segments abgeschlossen ist, muss dieses selbstverständlich noch abgespeichert werden. Danach kann dieses Segment in einem Projekt im Arbeitsbereich genutzt werden. Wenn es nicht sofort in dem Segment Bereich (Abbildung 6, 1) erscheint, kann man diesen Bereich über die Auswahl „Alle zeigen“ erweitern oder alternativ über die Komponentensuche (2) suchen. Das Segment kann dann entsprechend in den Bereich (3) hinübergezogen werden und schon wird es auf das Panel sowie alle darin enthaltenen Daten angewandt. 

Nähere Informationen zum Thema Segmente in Adobe Analytics findet ihr außerdem hier. 

Fazit & Ausblick

Bot Traffic kann die Qualität der Website & App Daten erheblich beeinflussen. Mit den richtigen Maßnahmen in Adobe Analytics lässt sich das Problem jedoch effektiv angehen. Durch die Aktivierung von automatischen Bot-Filtern, der Erstellung eigener Regeln und der Segmentierung von verdächtigem Traffic kann sichergestellt werden, dass die Analysen auf validen und sauberen Daten basieren. Hierbei sind regelmäßige Überprüfungen und Anpassungen der Filter essenziell, da sich Bot-Technologien ständig und rasant weiterentwickeln und die Unterscheidung von menschlichem und nicht-menschlichem Traffic zunehmend schwieriger wird.

Automatisierte Bot Erkennung mit ed.Detect

Smarter geht’s mit ed.Detect! Unser leistungsstarkes, KI-getriebenes Analysewerkzeug ed.Detect kann alle notwendigen Schritte zur Identifizierung, Segmentierung und Benachrichtigung von Bot-Traffic übernehmen und vollständig automatisieren. ​Durch das tägliche Monitoring aller Datenströme erkennt ed.Detect ganz automatisch den Bot-Anteil von Visits anhand typischer Verhaltensmuster.​ Optional können auch individuelle Regelwerke implementiert werden, sodass die Bot-Erkennung exakt auf die Anforderungen des Unternehmens zugeschnitten wird, z.B. dass bestimmte Märkte oder Channels ausgeschlossen werden.​ Diese Informationen werden direkt an das Analytics-Team weitergeleitet, sodass es sofort mit entsprechenden Maßnahmen reagieren kann. ​Auf Wunsch kann ed.Detect auch direkt identifizierte Datenströme filtern, sodass diese aus den relevanten Reports und sogar aus dem Analytics Tool entfernt werden können.

📺 Wie einfach das Ganze funktioniert seht Ihr in folgendem Video! Bots sind smart, ed.Detect ist smarter. Jetzt unverbindliches Beratungsgespräch anfragen!

Feedback

Wir freuen uns über Feedback und weiteren Austausch zu Bot Traffic und Best Practices.