AI는 기존 학습 봇보다 콘텐츠를 빠르게 추출하는 실시간 데이터 수집 기능을 제공합니다. 학습 봇은 장기적인 모델 개발을 위해 대량의 데이터를 수집하지만, 페처는 사용자들에게 실시간 요약을 제공한다는 명목으로 즉각적인 가치를 가로챕니다. 이러한 직접적인 경쟁은 출처가 되는 사이트를 우회해 추천 트래픽을 96% 떨어뜨리며 기존의 광고 기반 수익 모델을 붕괴시킵니다.
웹 스크레이핑은 퍼블리싱 인프라에 대한 기술적 및 재정적 부담을 가중시킵니다. 자동화된 봇은 사용자의 참여를 제공하지 않고 대규모 서버 및 CDN 리소스를 소비하므로 운영 비용이 급증하고 실제 사용자를 위한 사이트 성능이 저하됩니다. 한 Akamai 고객사는 “타피트”를 사용해 요청 용량의 97%를 회수함으로써 퍼블리셔가 이러한 봇을 퇴치할 수 있도록 했습니다.
AI가 생성한 응답에는 적절한 출처 표기가 없기 때문에 기업의 권위와 고객 신뢰를 떨어뜨립니다. AI 플랫폼은 명확한 출처 표기 없이 독점 컨텐츠를 가공하는 경우가 많아 원본을 클릭하는 사용자의 비율은 1%에 불과합니다. 창작자와 독자 사이의 관계가 이렇게 붕괴됨으로써 콘텐츠 이용의 투명성과 허가 여부를 보장할 수 있는 RSL(Really Simple Licensing)과 같은 프레임워크의 도입이 필요해졌습니다.
AI 봇을 전면 차단하면 향후의 수익화 및 성장 기회를 오히려 놓치는 일이 발생할 수 있습니다. 모든 자동 트래픽을 단정적으로 차단하면 고품질 데이터에 대한 비용을 지불할 의사가 있는 AI 회사와의 유익한 파트너 관계 또는 라이선스 거래가 막힐 수 있습니다. 그 대신, 퍼블리셔는 정밀한 가시성을 사용해 인증된 에이전트를 식별 및 허용하고, 악성 스크레이퍼는 선택적으로 접속을 통제해야 합니다.
새로운 신뢰 및 커머스 레이어는 무단 스크레이핑을 지속 가능한 수익원으로 바꿔줍니다. 퍼블리셔는 KYA(Know Your Agent)와 같은 신원 확인 툴을 통합해 모든 봇의 의도를 검증하고 종량제 경제 모델을 적용할 수 있습니다. 이러한 전환으로 인해 자동화된 수요가 책임 있는 거래로 변모해 미디어 기업은 AI 경제를 주도하는 지적 재산에 대해 상당한 보상을 받을 수 있습니다.