極端に少ないテレメトリーで機能するモデルを構築するためには、問題を捉えるフレームワークを変える必要がありました。
マウスのイベントを文書における「単語」のように考えてみてください。たった1つの単語だけでは、その文章を誰が書いたのかはほとんどわかりません。しかし、リズム、相対的な出現頻度、単語間の間(ポーズ)といったパターンの連続性を分析すれば、多くのことがわかります。エージェントが書いた文章は、無駄がなく目的が明確であり、脱線したり、後戻りしたり、意味のない言葉が挟まることはありません。一方、人間が書いた文章は、より雑然としていて情報量も豊かです。
この比喩が、私たちのモデリングアプローチの原動力となりました。これは単なる比喩ではなく、アーキテクチャ上の共通点でもあります。大規模言語モデル(LLM)のファインチューニングを行ってきた私たちの経験から、直接的な類似性が浮かび上がりました。つまり、Transformerが文章内の語彙トークン間の関係性をモデル化するのと同じ「アテンション(Attention)機構」を、振る舞いシーケンス内のマウスイベント間の関係性のモデル化にも応用できるということです。
Transformerのキー/クエリによるアテンションブロックでは、各トークンが他のすべてのトークンを参照するため、距離に関係なく、どのトークンが互いの意味に最も関連しているかを学習できます。これをマウステレメトリーに適用すると、モデルは少数のイベント間の関係性を学習できるようになります。そして、Transformerモデルはシーケンスが短くても、これらの関係性を効果的に学習・活用できることがわかりました。
評価のために長いイベントシーケンスを必要とするモデルを構築するのではなく、短いシーケンスの意味を理解し、エージェント特有の無駄のない「マウスの語彙」を人間のものから識別するモデルを学習させたのです。To build a model that works on sparse telemetry, we needed to change our framing.