ed.Detect: Automatisierte Bot-Erkennung

Automatisierte Bot-Erkennung mithilfe von ed.Detect

Anomalien* in Messdaten können unterschiedliche Ursachen haben. Bei Website-Betreibern sind beispielsweise häufig Bots dafür verantwortlich, dass wichtige KPIs verzerrt werden. Bot-Traffic ist dabei nicht grundsätzlich als „schlecht“ anzusehen, es ist jedoch wichtig, innerhalb von Datenanalysen zwischen menschlichem und nicht-menschlichem Traffic zu unterscheiden.

Zwar gibt es mittlerweile bereits einige etablierte Systeme, welche in der Lage sind, Bots anhand von technischen Indikatoren zu identifizieren und von der Website auszuschließen. Dennoch gelangt in der Realität immer noch ein großer Anteil von nicht-menschlichem Traffic in die Analytics Tools. An diesem Punkt übernehmen häufig die Analysten die mühselige Arbeit, Bot-Traffic zu identifizieren, um diesen anschließend möglichst effizient anhand bestimmter Merkmale herauszufiltern. Das Filtern geschieht dabei oft über sehr umfangreiche und komplexe Segment-Einstellungen in den Tracking Tools selbst, was zu zusätzlichem, manuellen Pflegeaufwand führt und so die Kapazitäten der Analysten bindet.

Unser leistungsstarkes, KI-getriebenes Analysewerkzeug ed.Detect kann alle notwendigen Schritte zur Identifizierung, Segmentierung und Benachrichtigung von Bot-Traffic übernehmen und automatisieren. Durch das tägliche Monitoring aller Datenströme, erkennt ed.Detect ganz automatisch den Bot-Anteil von Visits anhand typischer Verhaltensmuster. Optional können auch individuelle Regelwerke implementiert werden, sodass die Bot-Erkennung exakt auf die Anforderungen des Unternehmens zugeschnitten wird, z.B. dass bestimmte Märkte oder Channels ausgeschlossen werden. Diese Informationen werden direkt an das Analytics-Team weitergeleitet, sodass es sofort mit entsprechenden Maßnahmen reagieren kann. Auf Wunsch kann ed.Detect auch direkt identifizierte Datenströme filtern, sodass diese aus den relevanten Reports und sogar aus dem Analytics Tool entfernt werden können.

Smarter. Faster. ed.Detect.

Zur Analyse verbindet sich ed.Detect direkt mit dem individuellen Analytics Tool und ist damit in der Lage, kontinuierlich und tausende Datenströme simultan zu analysieren und bei Befunden augenblicklich zu reagieren. Dazu durchlaufen die Daten zunächst ein maßgeschneidertes „Ruleset“, welches auf unserer Expertise im Bereich Digital Analytics sowie branchenspezifischen Besonderheiten basiert. Dadurch kann auffälliger Traffic bereits identifiziert werden. Im Anschluss folgt der Feinschliff für den Bot Traffic, der sich besonders gut als menschlicher Traffic tarnt oder nur punktuell und vereinzelt auftritt und somit vom Analytics-Team leicht übersehen werden kann. Für diesen Zweck nutzt ed.Detect Machine Learning Algorithmen, um nicht-menschliches Verhalten zu identifizieren und somit als Bot zu entlarven. Entsprechende Datenströme können anschließend für eine effektive Segmentierung der Daten genutzt werden. Somit ist die Bot-Erkennung mit ed.Detect viel umfangreicher und granularer, aber dennoch erheblich schneller, kostengünstiger und effizienter als eine manuelle Untersuchung durch Analysten. Unsere Erfahrungen haben gezeigt, dass ed.Detect Bot Traffic sehr viel treffsicherer identifizieren kann und dabei im Durchschnitt zwei Wochen früher reagieren kann als herkömmliche Tools.

Mithilfe von intelligenten Alarm- und Prognosemodulen (Alerting) kann ed.Detect ebenso unterstützend für das Analytics Team eingesetzt werden, sodass Analysten völlig automatisch über Bot Traffic informiert werden. Das Alerting enthält neben detaillierten Informationen zum identifizierten Bot, z.B. wo er auftritt und in welchem Umfang der Traffic betroffen ist, ebenfalls einen Bezug zu den möglichen Auswirkungen sowie konkrete Handlungsempfehlungen zur nächsten Aktion. Die intelligenten Benachrichtigungen arbeiten hierbei direkt auf den Ergebnissen der ed.Detect Core Engine. Somit fangen Analysten nicht bei Null an und können Bot Traffic sehr schnell identifizieren und entsprechend reagieren. Auch bei der Filterung sind neue, bahnbrechende Wege mit ed.Detect möglich, die wir Euch nachfolgend gerne vorstellen.

Verbesserte Bot Segmentierung mithilfe von ed.Detect

Herkömmlicher Ansatz: Collect & Collate

Den herkömmlichen Ansatz bei der Bot-Erkennung nennen wir „Collect & Collate“, da in einem großen Segment jeglicher Bot Traffic gesammelt und nach Möglichkeit anhand identifizierter Merkmale in ein geordnetes Filter-System gebracht wird. Dieser Ansatz ist vorstellbar wie ein großer Eimer, welcher immer weiter mit Merkmalen gefüllt wird, die wiederum Bot Traffic markieren. Dieser Ansatz ist zunächst sehr simpel durchführbar und verspricht großen Erfolg.

Auf Dauer überwiegen jedoch die Nachteile dieses Ansatzes. Zum einen werden die Filter-Einstellungen stets nur erweitert und es findet keine weitere Analyse statt. Dadurch steigt der Anteil an menschlichem Traffic innerhalb des Segments, da Bots häufig nur über bestimmte Zeiträume Aktivitäten vorweisen und danach wieder verschwinden. Dadurch wird das Segment immer größer und größer, was auf der einen Seite die Pflege des Segments zunehmend erschwert und zum anderen die Performance der Arbeit mit dem Segment negativ beeinflusst. Außerdem beinhaltet solch ein Segment meist aus Gründen der Übersichtlichkeit kein Datum, welches Auskunft darüber gibt „wann“ der Traffic durch Bots verursacht wurde. Diese Struktur führt dazu, dass mit jedem Update des Segments die Reproduzierbarkeit von Daten erschwert wird. Denn durch jedes Update ändern sich die Abfragen historischer Daten, sodass letztendlich verschiedene Zahlen zu verschiedenen Abfragezeitpunkten vorliegen.

Intelligenter Ansatz: Detect & Decide

Aus diesen Gründen haben wir den Segment-Ansatz Detect & Decide konzipiert. Dieses System nutzt eine zweistufige Überwachung. Zum einen überprüft es jeglichen Traffic auf nicht-menschliche Einflüsse wie zuvor und pflegt ein Bot-Segment, indem identifizierende Merkmale herausgefiltert werden. Und zum anderen überprüft es jeden bereits als Bot identifizierten Traffic hinsichtlich der Aktivität der Bots. Wird festgestellt, dass ein Bot seine Aktivität eingestellt oder geändert hat, also z.B. nun in einem anderen Markt aktiv ist, so wird der entsprechende Traffic im Bot-Segment wieder freigegeben. Identifizierter Bot-Traffic kommt bei diesem Ansatz also in eine Art „Quarantäne“ und sobald sich der Traffic als Bot-frei herausstellt, wird der Traffic automatisch wieder für die weitere Verarbeitung freigeschaltet. Dadurch kann ganz unkompliziert nachgehalten werden, wann spezielle Bot-Aktivitäten starten und vor allem wann sie wieder enden. Mit dieser Information sind wir in der Lage, ein Segment zu erstellen, welches nicht nur zum Analyse Zeitpunkt, sondern auch zu jedem vergangenen Zeitpunkt optimal ist, da das Segment zu keinem Zeitpunkt Traffic filtert, der nicht zu 100% einer Bot Aktivität zugeordnet werden kann. Somit ist sichergestellt, dass Datenexporte unabhänig vom Abfragezeitpunkt stets identisch und konsistent sind.

Bots werden völlig automatisch von ed.Detect als aktiv oder inaktiv erkannt. Dazu wird eine Art „Blacklist“ erstellt, welche Informationen über alle momentan aktiven oder nicht-mehr aktiven Bots enthält. Diese Blacklist wird an ein Tag Management System (TMS) übergeben. Über den Tag-Manager kann so jeder Hit einzeln als Bot gekennzeichnet werden bevor die Daten zum Tracking-Tool weitergeleitet werden. Dazu wird jedem Hit in Form einer neuen Dimension ein Marker hinzugefügt. Im Analytics Tool kann nun einfach auf diese neue Dimension gefiltert werden, sodass ein komplexes Bot-Segment durch eine einzelne Bedingung ersetzt werden kann. Dieses System ist sogar noch erweiterbar, sodass der als Bot eingestufte Traffic gar nicht mehr an das Analytics Tool weitergeleitet wird, wodurch Server Calls eingespart werden können. Selbstverständlich sind auch Individuallösungen zwischen den beiden Ansätzen möglich, wie z.B. die automatisierte Pflege eines Bot-Segments im Tracking Tool über das entsprechende API (Application Programming Interface).

Ein vollständiger Detect & Decide Ansatz bietet zusammenfassend mehrere Vorteile:

Erstens: Schnellere & effizientere Prozesse – Die Regeln, die Traffic als Bot Traffic einstufen, sind stets fest definiert und werden klar und verständlich kommuniziert. Im Gegensatz zur mühseligen Einordnung durch einen Analysten, sind so die Entscheidungen zur Einordnung stets konsistent und für alle nachvollziehbar.
Zweitens: Verbesserung der Datenqualität – Es wird ein Segment erstellt, welches für jeden Zeitpunkt nur genau den Traffic filtert, welcher definitiv als Bot Traffic erkannt wurde. So wird der Anteil an gefiltertem, menschlichen Traffic auf ein Minimum reduziert und die (ganzheitliche) Reproduzierbarkeit der Daten zu jedem Zeitpunkt garantiert. Außerdem ist die Art und Weise des Filterns weitaus genauer und effizienter als die Nutzung eines komplexen, fehleranfälligen Bot-Segments.
Drittens: Ganzheitliche Einstufung & Weiterverwendung – Die Einordnung des Traffics in Bot- oder menschlichen Traffic steht in den Daten auch über das Tracking-Tool hinaus überall zur Verfügung und kann dementsprechend z.B. für weitere Analysen, Customer Data Plattformen oder jeglichen anderen Export adaptiert werden.

Fazit

Die Bot-Erkennung mithilfe von ed.Detect reduziert nicht nur den manuellen Aufwand, sondern verbessert parallel auch die Geschwindigkeit und Genauigkeit der Entlarvung von Bot Traffic. Ein Vergleich mit dem herkömmlichen Ansatz („Collect & Collate“) zeigt, dass die Filter zur intelligenten Bot-Erkennung mit ed.Detect („Detect & Decide“) dank KI automatisch aktualisiert werden, wodurch Entscheidungen konsistenter werden und gleichzeitig die Trefferquote sowie Datenqualität entscheidend verbessert werden. Durch die unkomplizierte und direkte Verbindung zwischen ed.Detect und dem Tag-Manager ergeben sich neue Anwendungsbereiche, die zur optimierten Nutzung von Analytics-Daten sowie langfristig zu enormen Wettbewerbsvorteilen beitragen.

Gerne beraten wir Euch unverbindlich zum Einsatz unserer KI-getriebenen Bot-Erkennung mithilfe von ed.Detect in Eurem Unternehmen! Sprecht uns jederzeit an!

* Blogbeitrag: Was ist eine Daten-Anomalie?

BEREIT BOT TRAFFIC DEN KAMPF ANZUSAGEN?
ED.DETECT MACHT ES GANZ AUTOMATISIERT MÖGLICH!

USE CASE:
BOT DETECTION MIT ED.DETECT

Die Unterscheidung zwischen (gut getarntem) Bot Traffic und menschlichem Traffic wird zunehmend schwieriger und stellte unseren Kunden vor eine große Herausforderung. Denn Bot Traffic belastet nicht nur die Infrastruktur unnötig, sondern erschwert ebenso die Beurteilung bezahlter Traffic-Akquise und verfälscht die Conversion-Messung.

Durch den Einsatz unserer KI-basierten Lösung ed.Detect konnte der manuelle Aufwand erheblich reduziert werden und gleichzeitig die Geschwindigkeit und Genauigkeit durch eine vollständig automatisierte Bot Erkennung deutlich erhöht werden. ✔️

Hier geht’s zum Use Case Bot Erkennung mit ed.Detect!

Findest Du dieses Thema spannend oder gibt es weitere Fragen zur automatisierten Bot-Erkennung mit ed.Detect? Dann melde Dich gerne direkt bei uns.