Zukunftsweisende Strategien zur flexiblen Bewältigung der Auswirkungen von Bots auf den Geschäfts- und IT-Bereich

Best Practices für die Bot-Verwaltung

Bots werden zu nützlichen, potenziell schädlichen oder schädigenden Zwecken eingesetzt. Ein effektiver Umgang mit dem Bot-Datenverkehr ist essenziell, um wettbewerbsfähig zu bleiben und den Umfang der IT-Architektur zu reduzieren. Der Ansatz „Bewältigung statt Abwehr“ sorgt dafür, dass gutartige Bots aktiv bleiben, während bösartige Bots unbemerkt ausgeschaltet werden. Mit Bot Manager können Sie Bot-Datenverkehr identifizieren, kategorisieren und entsprechende Maßnahmen ergreifen.

Bot-Datenverkehr: Bewältigung statt Abwehr

Unternehmen nutzen in der Regel einen allgemeinen Ansatz zur Abwehr (Blockierung) von Web-Crawlern, bei dem diese nicht individuell unterschieden werden: Alle Bots und Website-Scraper werden auf dieselbe Art und Weise blockiert. Dieser Ansatz kann zu einer geringeren Sichtbarkeit in Suchmaschinen führen oder die Ziele eines Unternehmens für das Onlinegeschäft anderweitig negativ beeinflussen. Die Blockierung von Bots ist zudem auf lange Sicht nicht effizient, da blockierte Bots einfach mutieren, sich weiterentwickeln und in einer Form auf die Website zurückkehren, in der sie noch schwieriger zu erkennen sind.

Herkömmliche Taktiken zur Abwehr von Bots sind aus drei Gründen nicht effizient:

  • Die Blockierung behandelt den gesamten Bot-Datenverkehr auf dieselbe Weise, ungeachtet dessen, dass es Bots gibt, die für das Unternehmen nützlich sein können.
  • Die Blockierung sendet den Bot zurück an den Betreiber, wodurch dieser sich eventuell dazu aufgefordert fühlt, den Bot zu ändern und unter einer verborgenen Identität zurückzusenden.
  • Die Blockierung von nützlichen (gutartigen) Bots kann zu einer Verringerung der Sichtbarkeit in Suchmaschinen führen und weitere Geschäftsziele behindern.
Die Verwaltung des Bot-Datenverkehrs mittels der Analyse von vordefinierten Signaturen und Echtzeiterkennung ist ein effizienterer Ansatz, da Unternehmen auf diese Weise nützliche Bots zulassen und priorisieren können. Bösartigen Bots wird hingegen der Zugriff verweigert oder dieser verzögert oder ihnen wird ein anderer Ursprung, anderer Inhalt oder Inhalt aus dem Cache zugewiesen.

Identifizierung von Bots anhand Signaturen

Dank der Einsicht in 15% bis 30% des globalen Webdatenverkehrs bietet die Akamai Intelligent Platform 15 Kategorien von identifizierten Bots, die über 1.200 Bots umfassen. Die detaillierte Ansicht des Websitedatenverkehrs zeigt, dass bis zu 40% des Volumens des eingehenden Datenverkehrs aus Bots und Scrapern bestehen kann.

Ein typisches Datenverkehrsprofil sieht folgendermaßen aus:

  • 60% Nutzerdatenverkehr
  • 20% Suchmaschinen
  • 10% Unbekannt
  • 5% Websiteentwicklung und -überwachung
  • 2% Webarchivierung
  • 1% Werbung
  • 1% Sonstiges
Die kontinuierliche Aktualisierung der Bot-Verzeichnisse auf Basis der Signaturen in Kombination mit der Erstellung von benutzerdefinierten Signaturen zur Identifizierung von bekannten Bots ermöglicht es, Bot-Signaturen sofort zu klassifizieren und in Echtzeit Maßnahmen zuzuweisen. So werden das Geschäftsrisiko und die IT-Auslastung verringert.

Bot-Kategorisierung verbessert Reaktionsfähigkeit

In den Bot-Signaturen sind Faktoren enthalten, anhand welcher eine leistungsstarke Lösung wie Bot Manager die unterschiedlichen Bots in drei Kategorien einteilen kann:

  • Bot-Kategorisierung durch Akamai – Ein Verzeichnis an bekannten Bots, das auf Basis von aktuellen Interaktionen von anderen Kunden von Akamai unter Nutzung des Datenanalysesystems „Cloud Security Intelligence“ (CSI) kontinuierlich aktualisiert wird.
  • Bot-Kategorisierung durch Kunden – Benutzerdefinierte Signaturen zur Identifizierung von bekannten Bots, die regelmäßig (und legitim) mit einer Website interagieren, wobei Faktoren wie IP-Adresse, Subnetz, ASN und Kopfzeilenwerte verwendet werden, um eine bestimmte Aktion zuzuweisen.
  • Unbekannte Bots – Unbekannte Bots werden anhand einer Vielzahl von Eigenschaften erkannt und identifiziert, zum Beispiel anhand von Anforderungsrate, Anforderungseigenschaften, Bot-Verhalten und Workflowprüfung.

Reduzierung der IT-Auslastung durch Bot-spezifische Verwaltungsmaßnahmen

Die Last der IT-Infrastruktur kann minimiert werden, indem auf Basis der Bot-Kategorie entsprechende Maßnahmen zugewiesen werden. Die Reaktion kann eine der folgenden ausgereiften Maßnahmen beinhalten:

  • Stille Verweigerung: Eine Anfrage wird von einer Website blockiert, dem Client wird jedoch kein Fehlercode zurückgegeben, die Antwort wird also umhüllt (Cloaking).
  • Verzögerung: Die Anfrage darf die Website nach einer Verzögerung von drei Sekunden aufrufen. Auf diese Weise können nützliche Bots, die die Performance des Ursprungs stark beanspruchen, effizient verwaltet werden.
  • Verlangsamung: Die Anfrage darf die Website nach einer Verzögerung von acht bis zehn Sekunden aufrufen.
  • Alternativen Inhalt anbieten: Eine Anfrage wird an eine alternative konfigurierte Seite weitergeleitet. Dies ermöglicht eine Antwort auf Bots mit Informationen, die sich von der kundenorientierten Website unterscheiden, zum Beispiel Informationen zu einer alternative E-Commerce-Website, die über dieselben Produkte zu anderen Preisen verfügt.
  • Alternativen Ursprung anbieten: Eine Anfrage wird an eine vorkonfigurierte alternative Ursprungsinfrastruktur weitergeleitet. Diese Maßnahme ist der Maßnahme „Alternativen Inhalt anbieten“ ähnlich, allerdings wird hierbei zusätzlich die Belastung der Performance der kundenorientierten Ursprungsinfrastruktur minimiert.
  • Cache anbieten: Reagiert auf Anfragen mit Inhalten aus dem Cache, wodurch die Belastung der Performance der Ursprungsinfrastruktur ebenfalls minimiert wird.