Akamai Bot Directoryをアップデートし、単一だった「AIボット」カテゴリーを「AIトレーニングクローラー」「AI検索クローラー」「AIフェッチャーおよびエージェント」の3つに細分化しました。
すべてのボットを「許可するか、ブロックするか」という一律のルールから脱却し、「検索インデクサーは許可しつつ、学習用スクレイパーは制限する」といった、ボットの実際の振る舞いに基づくきめ細やかなセキュリティポリシーを適用できるようになります。
リアルタイムのユーザーエージェントとバックグラウンドで動くクローラーを区別することで、AIを活用した顧客対応、調査、取引を安全に実行できます。
このアップデートは、トラフィックの可視化と制御を最適化戦略と連携させ、AI検索結果におけるブランドのプレゼンスを維持しながら、自社の知的財産（IP）を保護することを支援します。
WebサイトへのAIボットによるアクセスは日常的なものとなりました。その目的はAIモデルのトレーニングからリアルタイムのタスク実行まで多岐にわたります。本記事では、Akamaiが導入したAIボットの3つの分類区分を通じて、トラフィックの解像度を上げるアプローチを提示します。これにより、自社の価値あるコンテンツを保護しつつ、AI主導の新しい検索や顧客接点を安全に活用するための視点が得られます。AI bots have quickly become a regular part of Akamaiでは、ボットの出現当初から検出と個別の識別を行ってきました。そして今回、お客様がより簡単にボットを可視化、管理し、最適化できるよう機能を強化しています。
既存の「AI Bots」カテゴリーを、以下の3つのカテゴリーに分割することで、Akamai Bot Directoryをアップデートしました。
AI training crawlers（AIトレーニングクローラー）： LLM（大規模言語モデル）のトレーニングを目的として、コンテンツをスキャンおよび収集します
AI search crawlers（AI検索クローラー）：: AI検索および引用のためにコンテンツをインデックス化します
AI fetchers and agents（AIフェッチャーおよびエージェント）： ユーザーのリクエストや自律的なタスクを処理するため、リアルタイムにコンテンツへアクセスします。
この分類により、自社サイトに到達するAIトラフィックの性質を深く理解し、「何をブロックし、何を許可し、何に向けて最適化するべきか」について、より的確な判断を下せるようになります。
例えば、貴方がWebサイトを運営しているとします。自社のコンテンツがAI開発企業にモデルのトレーニング目的でクローリングされるのは避けたいでしょう。しかし一方で、AIプラットフォーム経由でユーザーが情報を検索した際には自社ブランドが表示されるよう、AI検索エンジンによるインデックス化は許可したいはずです。また、顧客が特定のページを参照するようAIアシスタントに指示した場合には、そのアクセスを許可したいと考えるかもしれません。
これら新しい各カテゴリーの動作メカニズムと、それぞれを区別して扱うことがビジネスに不可欠である理由を掘り下げていきましょう。
OpenAIのGPTBot、AnthropicのClaudeBot、MetaのMeta-ExternalAgentなどに代表されるAIトレーニングクローラーは、AIモデルを学習させるために大量のWebコンテンツを収集します。これらのボットは、自社サイトにトラフィックや価値を還元することなく、サーバーリソースや価値あるコンテンツを消費する可能性があります。
Akamaiをご利用のお客様は、AIトレーニングクローラーを独立したカテゴリーとして管理できるようになり、自社のコンテンツがAIの学習に「どのように」「どこで」使用させるかをより細かくコントロールすることが可能になります。
OpenAIのOAI-SearchBot、AnthropicのClaude-SearchBot、PerplexityのPerplexityBotを含むAI検索クローラーは、AI搭載の検索エンジンが情報を発見、理解し、回答として提示できるようにWebコンテンツをインデックス化します。この際、多くの場合で元のWebサイトへの引用やリンクが添えられます。これにより、AI検索経由でのブランド露出を高める効果が期待できますが、ユーザーがAIの回答だけで必要な情報を得てしまうケースも多く、必ずしもサイトのトラフィック増加に直結するわけではありません。
検索クローラーとトレーニングクローラーを分離することで、AI検索における露出を維持しながら、自社コンテンツを保護するための柔軟な選択肢が得られます。
ChatGPT-User、Claude-User、Perplexity-User、ChatGPT Agent、GoogleAgent-MarinerなどのAIフェッチャーおよびエージェントは、即時のリクエストを満たしたり、ユーザーの代わりにタスクを完了させたりするために、アドホックにWebサイトへアクセスします。
フェッチャーは、ユーザーがAIアシスタントに特定のページの要約を依頼した際に、該当ページにアクセスします。一方、エージェントは、調査、選択肢の比較、あるいは特定のタスクを完了させるためにWebサイトと対話する場合があります。どちらも大規模なクローリングとは根本的に異なるインタラクションであるため、AIトレーニングクローラーやAI検索クローラーとは明確に別のカテゴリーとして分類しました。
粒度の細かい分類は、単なるAIトラフィックの識別に留まらず、それらのトラフィックと「どう向き合うか」を決定するうえで役立ちます。Akamai Bot & Agent Controlを利用することで、トレーニングクローラーを制限する、検索クローラーを許可する、あるいは信頼できるエージェントを有効化するなど、AIのアクセス形態に基づいたポリシーを定義し、適用することができます。
この区別は、自律型AIエージェントが商取引を代行する「エージェンティック・コマース」が具体化するにつれて、重要性を増します。AIエージェントの役割は、単なる情報の検索から発展し始めています。今や彼らは、ユーザーの代わりに製品を調査し、選択肢を比較し、Webサイトを巡回して具体的なアクションを実行することが可能です。
このようなやり取りが拡大するにつれて、企業は「歓迎すべきAIトラフィック」と「制限すべきAIトラフィック」を明確に区別する必要に迫られます。きめ細やかな制御を導入すれば、すべてのAIボットをひとくくりに扱うことなく、ビジネス要件に沿った最適な選択が可能になります。
トラフィックの制御は、AIがもたらす機会の一部に過ぎません。AIが人々にとってブランドを発見し、ビジネスと関わるための新たな手段となる中で、企業は自社ブランドがAIのインターフェース上でどのように提示されるべきかを考える必要があります。Akamai AI Brand Presenceは、この戦略を最適化の領域へと拡張し、企業がさまざまなAIプラットフォームにおいて自社の存在感を把握し、向上させることを支援します。
Bot DirectoryとAI Brand Presenceを組み合わせることで、AIトラフィックに対するより戦略的かつ意図的なアプローチが実現します。これにより、自社サイトに誰がアクセスしているかを正確に把握し、そのインタラクションを制御したうえで、価値を生み出すAI体験に向けて最適化を図ることができるようになります。
新しいカテゴリーの導入は、エコシステムの進化に合わせてAkamaiのAIボット検知能力を継続的に強化するという、より広範な取り組みの一環でもあります。
新たなAIボット、エージェント、およびユーザーエージェントは次々と出現しています。Akamaiは今後もこれらのエンティティを特定して検知機能に追加し続けることで、アプリケーションと対話する未知のAIトラフィックを、お客様がより多く認識できるようサポートしていきます。
AIボットトラフィックに対するきめ細かい制御を実現する方法についてさらに詳しく知りたい方は、専門家にお問い合わせください。
© 2026 Akamai Technologies
