Grünes Licht Nur Für Gute Bots
Bot ist nicht gleich Bot. Gutartige Bots wie die Such-Crawler von Google oder Bing scannen Webseiten, RSS-Feeds rufen regelmäßig Nachrichten von Websites ab, und Preisvergleichs-Portale durchforsten die Seiten von Online-Shops.
Die bösartigen Varianten kopieren Webinhalte ohne Genehmigung, klicken automatisiert auf Onlineanzeigen oder verbreiten Werbebotschaften in Foren. Wirklich gefährlich sind Bots als Teil von DDoS-Attacken, die beispielsweise Online-Shops mit Anfragen überfluten und dadurch in die Knie zwingen.
Für Unternehmen ist es daher wichtig, die verschiedenen Bot-Arten auf ihren Websites zu erkennen und flexibel zu verwalten. Doch die Unterscheidung von guten und bösen Bots ist nicht gerade trivial, das verdeutlicht das Beispiel Suchmaschinen. Webseitenbetreiber bewerten typischerweise die Bots von Google oder Bing positiv, damit die Nutzer ihr Online-Angebot finden. Wie aber halten sie es mit weniger bekannten Suchmaschinen aus Russland oder China? Viele Unternehmen wollen deren Bots von ihren Webseiten fernhalten. Anders sieht es bei Firmen aus, die in China und Russland geschäftlich unterwegs sind. Sie wollen in diesen Ländern gefunden werden.
Die Reaktionen auf Bots sind daher abhängig vom Bot-Typ, vom Wert der Daten, die ausgelesen werden, vom Kontext und von den Motiven des Bot-Betreibers.
Bei der Unterscheidung der Bots hilft der Akamai Bot Manager weiter. Der Cloud-Service bietet für die Identifikation des Bot-Traffics ein umfangreiches Verzeichnis mit bekannten Bot-Signaturen und legitimen Webservices. Über Kategorien wie Search Engines, Web Scraper oder Transaktions-Bots lassen sich die Roboter-Surfer weiter differenzieren. Darüber hinaus können Firmen individuelle Bot-Signaturen und -Kategorien definieren, mit denen sie interne Bots oder Programme von Partnern auf ihrer Website besser erkennen. Sie basieren auf Merkmalen wie IP-Adresse, Subnetz, Autonomous System Number (ASN), Cookies oder bestimmten Header-Informationen. Der Akamai Bot Manager erkennt zudem in Echtzeit unbekannte Bots, die nicht in eine der Kategorien passen. In diesen Fällen bleibt es den Website-Betreibern überlassen, wie sie damit umgehen wollen.
Reine blockade bringt nichts
Welche Bot-Strategie sollte ein Unternehmen also verfolgen? Ein Schutzwall allein stellt keine effiziente Lösung dar. Er verlagert das Problem nur, löst es aber nicht. Denn eine pauschale Blockade aller Bots - inklusive der Suchmaschinen-Bots - bringt nichts, da eine Website dadurch nur noch schwer zu finden wäre. Zudem können die Bot-Programmierer die Blockade unterwandern. Erfolgt die Abwehr auf Basis der IP-Adresse oder der ASN, reagieren die Angreifer meist sehr schnell und wechseln zu einem anderen Cloud-Provider. Oder sie verändern die Header-Signatur, wenn die Website ihre Bots aufgrund einer Anomalie im Request blockiert. Unternehmen müssen daher die Regeln für den Umgang mit Bots permanent aktualisieren.
Mit Hilfe des Akamai Bot Managers lassen sich die Maßnahmen weiter verfeinern. Schädliche Bots sollten Unternehmen natürlich sofort blockieren. Grünes Licht bekommen bekannte Bots, etwa aus den Kategorien Suchmaschinen oder Online-Werbung. Einen Spezialfall bilden Bots, von denen das Unternehmen profitiert, die aber wegen ihres Datenvolumens und häufiger Anfragen die Performance der Website beeinträchtigen können.
Hier bietet es sich erstens an, die Bots nur mit statischem und damit nicht aktuellem Inhalt zu versorgen. Zweitens können Firmen die Anfragen der Bots an eine andere Website-Adresse weiterleiten, um die Last des Bot-Traffics auf der Original-Website zu reduzieren und den legitimen Nutzern schnelle Antwortzeiten zu bieten. Drittens lässt sich der Akamai Bot Manager so konfigurieren, dass er auf Anfragen von Bots mit im Cache zwischengespeicherten Inhalten antwortet; die Bots erhalten damit legitime Inhalte, ohne dass der Bot-Traffic die Leistung der Website beeinträchtigt. Und viertens können Unternehmen den Bot-Traffic verzögern, sprich Bots dürfen die Website erst nach einer Pause von einigen Sekunden wieder aufrufen.
Da sich Bots ständig verändern, sind fortwährende Analysen und Reports zum Bot-Verkehr sehr wichtig. Der Akamai Bot Manager bietet über ein Dashboard ausführliche Berichts-Funktionen mit Visualisierungen - von einer allgemeinen Übersicht der Merkmale des Bot-Traffics bis hin zur detaillierten Analyse einzelner Bots. Dank dieser Informationen können Unternehmen ihre Bot-Regeln kontinuierlich aktualisieren und sich für die veränderte Bot-Landschaft wappnen.
Autor: Ralf Gehrke, Director, EMEA Pre Sales bei Akamai
