Um ein Modell zu erstellen, das mit der spärlichen Telemetrie funktioniert, mussten wir unsere Denkweise ändern:
Wir mussten uns Mauszeiger-Ereignisse wie Wörter vorstellen. Ein einzelnes Wort sagt nur wenig darüber aus, wer einen Satz geschrieben hat. Aber Muster in Wörtern – einschließlich ihres Rhythmus, ihrer relativen Häufigkeit und Pausen zwischen den Wörtern – können viel aussagen. Ein Satz, der von einem Agenten geschrieben wurde, ist wirtschaftlich und zielgerichtet: Er enthält keine Abschweifungen, kein Zurückrudern und keine überflüssigen Füllwörter. Ein Satz, der von Menschen geschrieben wurde, ist deutlich chaotischer und umfangreicher.
Diese Analogie haben wir für unseren Modellierungsansatz genutzt. Und diese Analogie ist nicht nur metaphorisch, sondern betrifft auch die Architektur. Unsere Hintergrund-Optimierungs‑LLMs (Large Language Models) zeigten eine direkte Parallele: Dieselben Aufmerksamkeitsmechanismen, die es Transformern ermöglichen, Beziehungen zwischen lexikalischen Token in einem Satz zu modellieren, können auch auf Modellbeziehungen zwischen Mauszeiger-Ereignissen in einer Verhaltensabfolge angewendet werden.
In den Schlüssel-/Abfrage-Aufmerksamkeitsblöcken eines Transformers wird jedes Token auf jedes andere Token bezogen. So können Modelle lernen, welche Token für die Bedeutung der anderen am relevantesten sind, unabhängig von ihrer Entfernung. Wenn wir dieses Modell auf die Mauszeiger-Telemetrie anwenden, kann ein Modell die Beziehung zwischen einer kleinen Anzahl von Ereignissen erlernen. Und wir haben festgestellt, dass diese Transformer-Modelle effektiv lernen können, diese Beziehungen auch dann zu nutzen, wenn die Abfolgen kurz sind.
Anstatt ein Modell zu erstellen, das eine lange Ereignisabfolge zur Bewertung erfordert, haben wir ein Modell darin trainiert, zu verstehen, was eine kurze Abfolge bedeutet, um das spärliche, zielgerichtete Mauszeiger-„Vokabular“ eines Agenten vom menschlichen Vokabular zu unterscheiden.