Para criar um modelo que funcione com dados de telemetria escassos, foi necessário mudar a nossa abordagem.
Pense nos eventos do mouse da mesma forma que pensa nas palavras. Uma única palavra não revela quase nada sobre quem escreveu uma frase. Mas os padrões nas palavras, incluindo seu ritmo, frequência relativa e pausas, podem revelar muito sobre elas. Uma frase escrita por um agente é concisa e objetiva; não há divagações, retrocessos ou palavras desnecessárias. Uma frase escrita por um ser humano é mais caótica e mais rica.
Essa analogia norteou a nossa abordagem de modelagem. E essa analogia não é apenas metafórica, mas também arquitetônica. Nossa experiência em ajustar modelos de linguagem grandes (LLMs) nos levou a identificar um paralelo direto: Os mesmos mecanismos de atenção que permitem aos transformadores modelar relações entre palavras em uma frase podem ser aplicados para modelar relações entre eventos de mouse em uma sequência comportamental.
Nos blocos de atenção de chave e consulta de um transformador, cada token interage com todos os outros tokens, permitindo que o modelo aprenda quais são mais relevantes para o significado de outro, independentemente da distância entre eles. Quando aplicado à telemetria de mouse, isso significa que um modelo pode aprender a relação entre um pequeno número de eventos. Além disso, descobrimos que esses modelos de transformadores são capazes de aprender a explorar essas relações de forma eficaz, mesmo quando as sequências são curtas.
Em vez de desenvolver um modelo que precisasse analisar uma longa sequência de eventos, treinamos um modelo para compreender o significado de sequências curtas, permitindo distinguir o repertório limitado e intencional de movimentos do mouse de um agente automatizado daquele de um ser humano.