Background

振る舞いテレメトリーによるAIエージェントの特定

August 19, 2026 by Michael Sparkman and Daniel McAndrew

Share

本ブログのポイント

自律型AIブラウザーエージェントは、非常に少量のデータで効率的に動作する振る舞いテレメトリーを生成し、新しいカテゴリーのWebトラフィックを生み出している。

エージェントによるリクエストの98%以上にはマウスの動きがほとんど、あるいは全く含まれないため、従来のボット検知モデルでは評価そのものができない。

Akamaiは、マウス操作のテレメトリーを言語トークンのように扱い、短いイベントシーケンスを分析する「Masked Autoencoder Transformer」モデルの概念実証(PoC)を開発した。

TransformerのEmbedding(埋め込み)で学習させた軽量な分類モデルにより、極端なデータ不均衡がある状態でも、マウスの動きが少ない人間のセッションとエージェントによる自動化されたトラフィックを高精度で区別することに成功した。

Webサイトを訪れる新たなトラフィックとして、人間のようにはマウスを動かさず、自律的にブラウザーを操作してタスクをこなす「AIエージェント」が急増しています。これらは従来のボットとも人間とも異なる振る舞いを見せるため、既存の検知手法が通用しません。本記事では、この「エージェント」トラフィックの実態を解き明かし、非常に少ない振る舞いデータ(テレメトリー)からそれらを高精度に見極めるための新しい検知アーキテクチャについて解説します。

Perplexity Comet、OpenAI Atlas、Claude Chrome Extensionといったツールは、「ボストン行きの300ドル以下の航空券を探して予約して」などの自然言語のプロンプトを受け取ると、自律的にWebをブラウジングしてタスクを完了します。人間がマウスを握ったり、ページを読んだりすることはありません。AIエージェントが人間に代わってサイト上をクリックし、文字を入力していきます。

このような自動化は「コントロールブラウザー」モードとも呼ばれ、従来のボットでも人間でもない新たなカテゴリーのWebトラフィックを生み出しています。Akamaiは、このトラフィックがテレメトリーレベルでどのような特徴を持つのか、そしてそれを識別できるのかを調査しました。

なお、本記事は2回シリーズの第1回として、概念実証(PoC)の取り組みを共有するもので、す。今後、より堅牢で本番環境に対応できる機能へと発展させる予定です(※OpenAIは私たちの調査完了後にAtlasの提供終了を発表しましたが、AIエージェントがどのようにブラウザーを制御し操作するかという本調査のインサイトは、依然として高い価値を持つと考えています)。

第3のトラフィック:ボットでも人間でもない存在

長年、Webセキュリティの世界ではリクエストは「人間か、ボットか」という二元的な検知モデルが機能してきました。ボット自体も、人間を装おうとしない単純なクローラーと、マウスの動きを合成し、タイミングを変化させ、あらゆる手段を使って人間のように見せかける高度な模倣ボットの2種類に分類されてきました。

しかし、自動化モードのエージェントはそのどちらにも属しません。エージェントは誰かを騙そうとしているわけではなく、単に人間とは違う方法で動いているだけです。エージェントがWebページにアクセスすると、ターゲットに直行します。

  • 文章を読んでいる最中に無意味にカーソルを動かすことはない

  • クリックする前にマウスオーバーしない

  • ページを探索するためにスクロールしない

  • 正確にクリックし、効率的に文字を入力して、すぐに次の操作へ進む

その結果、残される振る舞いの痕跡(フィンガープリント)は、非常に少なく、機械的で、無駄のないものになります。これが、既存のツールでは解決できない新たな検知の課題を生み出しているのです。

Why our existing behavioral models missed

Akamai の Bot Manager Premierは、計測対象のあらゆるWebページからマウスの動き、クリック、スクロールなどのイベントシーケンスを、豊富な振る舞いテレメトリーとして収集しています。既存の振る舞いモデルはこのシーケンスを分析し、人間とボットを正確に区別します。しかし、このモデルが機能するには「比較可能な十分な数のイベントがシーケンスに含まれていること」という前提条件があります。

自動化モードで動作するCometやAtlasから収集した数百のセッションに対し、これらの既存モデルを適用した結果は以下の通りです。

  • エージェントによる自動投稿リクエストの63.2%は、マウスイベントが「0回」だった

  • 35.8%は、イベント数が最小しきい値を下回っていた

  • 評価に十分なマウスイベントを含んでいたリクエストは、わずか1.0%だった

既存のマウス操作モデルが疑わしいと判定したのは、全エージェントリクエストの1%未満でした。これはモデルが失敗したのではなく、そもそも「評価する機会すら与えられなかった」ことを意味します。自動化モードのエージェントはプログラムによってナビゲートするため、マウス操作のテレメトリーをほとんど生成しません。テレメトリーが少ないのは、エージェントが検知を回避しようとしているからではなく、単に人間のような操作の痕跡を残さないためです。

つまり、「評価された(Evaluated)」トラフィックと、そもそも「評価可能(Evaluable)」なトラフィックとの間のギャップを埋めることが、解決すべき中核的な課題でした。

発想の転換:マウスの動きを「言語」として捉え直す

極端に少ないテレメトリーで機能するモデルを構築するためには、問題を捉えるフレームワークを変える必要がありました。

マウスのイベントを文書における「単語」のように考えてみてください。たった1つの単語だけでは、その文章を誰が書いたのかはほとんどわかりません。しかし、リズム、相対的な出現頻度、単語間の間(ポーズ)といったパターンの連続性を分析すれば、多くのことがわかります。エージェントが書いた文章は、無駄がなく目的が明確であり、脱線したり、後戻りしたり、意味のない言葉が挟まることはありません。一方、人間が書いた文章は、より雑然としていて情報量も豊かです。

この比喩が、私たちのモデリングアプローチの原動力となりました。これは単なる比喩ではなく、アーキテクチャ上の共通点でもあります。大規模言語モデル(LLM)のファインチューニングを行ってきた私たちの経験から、直接的な類似性が浮かび上がりました。つまり、Transformerが文章内の語彙トークン間の関係性をモデル化するのと同じ「アテンション(Attention)機構」を、振る舞いシーケンス内のマウスイベント間の関係性のモデル化にも応用できるということです。

Transformerのキー/クエリによるアテンションブロックでは、各トークンが他のすべてのトークンを参照するため、距離に関係なく、どのトークンが互いの意味に最も関連しているかを学習できます。これをマウステレメトリーに適用すると、モデルは少数のイベント間の関係性を学習できるようになります。そして、Transformerモデルはシーケンスが短くても、これらの関係性を効果的に学習・活用できることがわかりました。

評価のために長いイベントシーケンスを必要とするモデルを構築するのではなく、短いシーケンスの意味を理解し、エージェント特有の無駄のない「マウスの語彙」を人間のものから識別するモデルを学習させたのです。To build a model that works on sparse telemetry, we needed to change our framing.

エージェント検知に向けた2段階のアーキテクチャ

以下に示すアーキテクチャはPoCに基づく設計です。初期の調査であるため、トレーニングデータとモデルの規模は意図的に小さく抑えられていますが、本番環境への展開時には、より大規模なモデルと包括的なラベル付けデータの収集が必要になります。

ステージ1:正常なマウスの振る舞い構造を学習する

セッションがエージェントによるものか人間によるものかを分類する前に、まず通常の「正常な」マウスの振る舞いの基本構造をモデルに学習させる必要がありました。

私たちは、自然言語処理における自己教師あり学習のアーキテクチャである「Masked Autoencoder Transformer」を、振る舞いテレメトリー用に適応させました。実際のBot Manager Premierのテレメトリーから得られた約350万件のラベルなしマウスイベントのシーケンスを使用してモデルを学習させました。学習時は、各シーケンスのイベントの35%をランダムにマスクし、コンテキストから元のイベントを再構築させることで、手動でのラベル付けを一切不要にしました。We adapted a 

軽量なアーキテクチャ設計

このアーキテクチャは設計上、非常に軽量に作られています。

  • 44,000パラメーター

  • 3つのTransformerレイヤー

  • 4つのアテンションヘッド

  • シーケンスごとに固定の64次元の埋め込み表現

位置ではなく「時間」をエンコードする

重要な設計上の選択として、標準的な位置エンコーディング(1番目のイベント、2番目のイベントなど)の代わりに、累積タイムスタンプを使用しました。経過時間に正弦波エンコーディングを適用することで、フーリエ分解のように機能し、各タイムスタンプを複数の周波数に同時に投影します。

  • 高周波成分: 高速なイベント間の微小な時間差を捉える

  • 低周波成分: セッション全体のリズムを捉える

これにより、モデルはタイミングのパターンを最優先の特徴量として学習します。AIエージェントに特有の長く不規則なポーズ(クリックの間に数秒待機するなど)は、単なるシーケンスの長さの影響ではなく、意味のあるシグナルとして扱えるようになります。

ステージ2:エージェントの振る舞いを識別する

事前学習済みのTransformerが64次元の振る舞い埋め込み表現を生成できるようになった後、エージェントの振る舞いを特定するための小規模な教師あり分類モデルを学習させました。実際のBot Manager Premierが導入された顧客サイトに対してComet、Atlas、Claude Chrome Extensionを実行し、2,190件のラベル付きエージェントシーケンスを収集しました。

私たちのチームは、以下の標準化されたプロンプトを使用してこれらのツールを操作しました。

  • 「商品ページに移動し、商品Xをカートに追加して」

  • 「ログインページを探して」

  • 「カテゴリYの商品を比較して」

その後、生成されたBot Manager Premierのセッションデータを収集しました。基準となる人間の振る舞いデータも同じ顧客のプロパティから抽出しています。

これらを組み合わせた結果、エージェントのセッション1件に対して人間のセッションが約85件という、極端なクラス不均衡が生じました。私たちはこの問題に、クラスに重みを付けた損失関数と、少数派であるエージェントクラスの大規模なデータ拡張(ガウスノイズ、特徴量のドロップアウト、ランダムな時間スケーリング)を適用することで対処しました。

第2ステージの分類モデルは、64次元の埋め込み表現の上に2つの隠れ層(64から32ユニット)を持つ浅い多層パーセプトロン(MLP)です。これを、1クラスのサポートベクターマシン(SVM)、Isolation Forest、変分オートエンコーダ(VAE)を用いたアプローチと比較しました(表参照)。その結果、教師ありMLPは、未知のデータに対して汎化性能が高いと一般に期待される1クラス手法を含め、他のすべての代替手法を大幅に上回る性能を示しました。

 

アプローチROC-AUCPR-AUC備考
1クラス SVM0.7970.044人間のデータのみで訓練
Isolation Forest0.8330.038実用的なしきい値での再現率がほぼゼロ
VAE + エネルギーベースの損失0.8820.410有望だがチューニングが難しい
浅いMLP(最終採用)0.9810.661今回選択したアプローチ

第2ステージの分類モデルの比較。浅いMLPが高いパフォーマンスを示している。

重要なインサイト

エージェントの振る舞いは、単に人間の分布の「外側」にあるわけではありません。1回だけ直接クリックして離脱するような、操作が少ない人間のセッションと部分的に重なっています。エージェントを検知するには、単に外れ値をフラグ付けするだけでなく、識別境界を学習する必要があります。

2次元空間に投影すると、Transformerモデルが学習した人間とエージェントの埋め込み表現の間に、比較的明確な分離が見られます。SVMによる超平面の決定境界を使用するような非常にシンプルなアプローチはあまりうまく機能しませんでしたが、浅いMLPネットワークは、限られたラベル付き訓練データでもクラス間の違いを識別し、適切に汎化できるようになります。

主成分分析(PCA)および t-SNE(t-stochastic neighbor embedding)を用いて、元の64次元空間から2次元空間へエンベディングを投影
主成分分析(PCA)および t-SNE(t-stochastic neighbor embedding)を用いて、元の64次元空間から2次元空間へエンベディングを投影
主成分分析(PCA)および t-SNE(t-stochastic neighbor embedding)を用いて、元の64次元空間から2次元空間へエンベディングを投影

次世代のトラフィックにどう備えるべきか

自律型AIブラウザーツールは、Webトラフィックの真に新しい時代を切り開こうとしています。そこでは人間と人工的なテレメトリーが混在するセッションが当たり前になるでしょう。しかし、既存の検知モデルはそもそもそのようなセッションを見るようには設計されていません。

本記事で解説したアーキテクチャは、極端に少ないマウスの動きであっても、データ構造を論理的に分析するための確固たる手段を提供します。このアーキテクチャは、数百万のラベルなしシーケンスから振る舞いの構造を学習する自己教師ありのTransformerと、慎重に収集されたラベル付きエージェントセッションで学習させた軽量な分類モデルで構成されています。

本シリーズの第2回では、このモデルを実際のテストにかけます。リクエストレベルおよびセッションレベルでの検知指標を紹介し、この振る舞いシグネチャがさまざまな顧客サイトでどのように汎用的に機能するかを示し、エージェントのセッションと人間のセッションの違いを視覚化します。また、現実世界の環境において運用の精度が何を意味するのか、そして本番環境に対応できる機能を実現するためにはどのようなステップが必要なのかについても解説します。

本記事で取り上げた調査は、AkamaiのThreat ResearchチームとData Scienceチームによって実施されました。ラベル付きエージェントデータセットは、Bot Manager Premierが導入された顧客サイトを使用し、標準化されたプロトコルに従って収集・匿名化されています。

執筆者

Michael Sparkman image

Michael Sparkman

Michael Sparkman is a Data Scientist at Akamai. He has 6 years experience working on disaster and relief projects and fraud and security analytics with a focus on bot automation. At Akamai, he researches new automation threats and works with customers to keep their security postures strong.

Daniel Estevan McAndrew

Daniel McAndrew

Daniel Estevan McAndrew is a Senior Data Scientist at Akamai, where he has spent five years developing machine-learning models for bot detection and abuse prevention. His work spans behavioral telemetry analysis and large-scale anomaly detection across Akamai Bot & Agent Control products. Before joining Akamai, he worked at Intel as a Software Engineer in Computer Vision for live sports broadcasting. He lives in Oakland, California, where he can usually be found hiking with his partner and two huskies.