사전 학습된 트랜스포머는 64차원 행동 임베딩을 생성하며, Akamai에서는 이를 활용해 에이전트 행동을 탐지하는 소규모 감독형 분류기를 훈련시켰습니다. 이를 위해 Comet, Atlas, Claude Chrome 확장 프로그램을 실제 Bot Manager Premier가 적용된 고객 웹사이트에서 실행해 2,190개의 라벨링된 에이전트 행동 시퀀스를 수집했습니다.
저희 팀은 다음과 같은 표준화된 프롬프트를 사용해 툴을 운용했습니다.
그런 다음, Bot Manager Premier 세션에서 도출된 정보를 수집했습니다. 인간 기준 데이터는 동일한 고객 속성에서 추출되었습니다.
이러한 데이터를 결합한 결과, 심각한 클래스 불균형이 발생했습니다: 약 85개의 인간 세션에 비해 단 하나의 에이전틱 세션만이 존재했습니다. 이 문제를 해결하기 위해 클래스 가중치 손실 함수를 적용하고, 에이전틱 소수 클래스에 대해 가우시안 노이즈, 특징 드롭아웃, 랜덤 시간 스케일링과 같은 다양한 데이터 증강 기법을 활용했습니다.
2단계에 사용된 분류기는 64차원 임베딩을 기반으로 두 개의 숨겨진 레이어(64 → 32개)를 가진 얕은 멀티 레이어 퍼셉트론(MLP)입니다. Akamai는 이를 원클래스 서포트 벡터 머신(SVM), 아이솔레이션 포레스트, 그리고 배리에이셔널 오토인코더(VAE) 접근 방식과 비교했습니다(표 참조). 감독형 MLP는 일반적으로 미지의 데이터에 대해 더 나은 일반화 성능을 보일 것으로 예상되는 원클래스 방식을 포함한 모든 대안보다 훨씬 뛰어난 성능을 보였습니다.