LLM AIスクレイパーの台頭：ボット管理における、その意味とは

近年、大規模言語モデル（LLM）と生成AI（GenAI）がビジネスに関する会話を席巻してきました。議論の中心となっているのは、それらの仕組み、データの入手場所、ユースケース、考え得る倫理的な問題、企業や個人への潜在的な影響です。

LLMは、テキストを理解して生成できる強力なAIモデルです。現在の市場には、新興企業が提供する数多くの新しいモデルに加えて、ChatGPT、Llama、Claude、Copilot、Grok、より新しいものではDeepSeekなど、いくつかの有名なLLMがあり、重要なベンチマークでライバルを上回るための競争が激化しています。毎週のように、異なるLLMが自らの優位を主張しているようです。

人間のような文章を正しく作成するために、LLMはまず、膨大なデータセットでトレーニングを受ける必要があります。トレーニング素材の多くは、Webページ、コードリポジトリ、ソーシャルメディア、その他のオンラインソースからスクレイピングによって取得されたデータで構成されています。

LLMは、自動化されたデータ抽出プロセス（Webスクレイピング）を通じて、このWebデータを取得します。このプロセスを実行するために、組織はFirecrawl、Beautiful Soup、ScrapeGraphAIなどの特別なオープンソースWebスクレイピングツールや市販のWebスクレイピングツールを使用して、Webサイトからデータを抽出し、解析し、LLMのトレーニングに使用できる構造化データへフォーマットします。

一般的に、このようなAIスクレイパーは良性のインターネット住民であり、図3に示すように、User-Agentで自己識別を行います。さらには、その情報をセカンドファクターで補完するために、IPのリスト、専用ASN、リバースDNSエントリーなどのネットワークデータを提供するものもあります。

AkamaiはLLMのなりすましの事例をいくつか観測しました。これは、悪人がボット検知を回避するためにUser-Agentを既知のLLMに設定する行為です。幸いにも、Akamaiのボット検知は他のシグナルも利用しており、偽装AIエージェントやLLMを簡単に排除できます。

それでは、AkamaiがWebアプリ、ネイティブ・モバイル・アプリ、APIを保護しているアプリケーションセキュリティの顧客に注目して、データを詳しく見ていきましょう。

AIエージェントと検索拡張生成（RAG）対応LLMの人気が高まっていることも、Webスクレイピング・ボット・トラフィックを促進しています。

RAGは、リアルタイムで収集された外部情報を利用して、LLMやAIエージェント自体の知識を補完する手法です。RAGは多くの場合、カスタマーサポートの自動化などのワークフローに統合されているため、チャットボットは企業の製品カタログやFAQから正確な情報をすばやく取得できます。

AIエージェント（IBM WatsonX、OpenAI Operator、Copilot Agent）とRAG対応LLM（Google Gemini、Llama）は、日常的なタスクを自動化して効率を高めることができるため、最近人気が高まっています。しかし、LLMとは異なり、エージェント型AIは多くの場合、外部ソースを使用してトレーニングデータをリアルタイムで増強する必要があります。そのため、これらのエージェントへのクエリーによってボットリクエストが増加します。

Akamaiは、エージェント型AIの継続的なスクレイピングにより、ボットトラフィックが飛躍的に増加すると予想しています。

Googleやその他の検索エンジンを使用している人間とは異なり、エージェントは複数のクエリーを並行して実行しているため、リクエストの大幅な増加につながります。RAG LLMやAIエージェントへのたった1つの質問によって、インターネット上で多数のリクエストが生成される可能性があります。

LLMの研究者によると、各ユーザーリクエストまたはエージェントリクエストが100以上のスクレイピングリクエストを発生させる可能性があり、LLMやそのエージェントが頻繁に参照するサイトへのトラフィックが大幅に増加する可能性が生じます。人々は自分がAIを使用していることに気づいていないことも多いです。

ご覧の通り、AIエージェントは、推論について尋ねられると、質問への回答手順を示しました。つまり、さまざまな情報源からどのように情報を抽出して合成し、結論に至ったかを説明しました。広大なインターネットと接続してリアルタイムでやり取りするこのような機能は、LLMと従来のWeb検索の境界をあいまいにしています。

AI Webスクレイパーを良性ボットと見なしていて、ブロックしたくない場合でも、ボットトラフィックの量が多いと、パフォーマンスの低下、CDNやクラウドのコストの増加などの多くの問題が発生し、サイトやアプリケーションにアクセスする人間にとってのユーザー体験が粗末になることがあります。ボットトラフィックの量が増加すると、これらの問題は悪化する一方です。

以下の対策を講じることで、ボットの増加が組織に悪影響を及ぼすのを防ぐことができます。

強力なボット管理ツールとプロトコルを実装して、AIスクレイパーのトラフィックを可視化し、新たなボットリクエスト対応戦略を生み出します。

サイトに受け入れるAIスクレイパーを決めます。有名なスクレイパー、または自社と関係のある企業に属するスクレイパーは許可し、他のスクレイパーは制限するのが一般的です。

各スクレイピングベンダーに関する自社の決定に基づいて、AIカテゴリー内に条件付きアクションを作成します。たとえば、有名なLLMによる自社サイトのスクレイピングを許可することはすでに決定しているかもしれませんが、その他のLLMについてはどうでしょうか？それらは完全にブロックすることも、スローダウンさせることも、人間のユーザートラフィックが少ない時間帯のみ許可することも、上記のアクションを組み合わせて実行することもできます。

AkamaiのWeb Security Analyticsなどのレポート作成ツールから得られる知見を利用し、AIスクレイパー活動の変化への対応方法に関する将来の意思決定に役立つパターンやトレンドを見つけます。