《保护出版业：AI 爬虫程序的真实成本

SOTI 报告揭示了出版业诸多值得警惕的现象，包括：

• AI 爬虫程序的威胁日益加剧

• AI 抓取器爬虫程序会抓取出版内容并重新发布

• 出版业现有的收入机制正面临瓦解

• 探寻除默认阻止之外的其他应对方案

据追踪，至 2025 年，由 Akamai 分类的 AI 爬虫程序活动激增了 300%。媒体行业（包括垂直行业出版业）的 AI 爬虫程序活动量仅次于电商行业，位居第二。

实时收集并重新利用网络内容的 AI 抓取器爬虫程序对出版业构成的风险与日俱增。AI 抓取器爬虫程序占由 Akamai 分类的 AI 爬虫程序的 25.28%。

AI 爬虫程序正在瓦解出版业赖以生存的收入机制，

包括付费墙、订阅及广告，同时又在推高运营成本，损害品牌声誉。 

默认阻止所有 AI 爬虫程序可能并非真正解决之道。目前有多种方案可抵御 AI 爬虫程序流量，包括创新的变现解决方案。 

2025 年 SOTI 数字欺诈和滥用报告记录了 AI 爬虫程序如何催生新型数字欺诈。这份全新的 SOTI 报告揭示了专门针对出版业的AI 爬虫程序趋势，并概述了应对威胁的策略。 

AI 彻底改变了人们在线查找和消费内容的方式。用户愈发倾向于使用 AI 平台获取即时答案与信息。在此过程中，AI 爬虫程序扮演着核心角色，它们收集专有内容，通常既不标明出处，也不向原作者支付报酬，便直接提供给 AI 平台。对于出版业而言，这会减少带来创收流量和订阅量，还会损害品牌知名度。

众多大型出版机构，包括 Ziff Davis 和纽约时报，已采取法律行动捍卫版权，对 OpenAI 提起版权侵权诉讼，指出 OpenAI 未经授权使用其已发表的文章来训练大型语言模型 (LLM)。

Akamai 研究显示，2025 年 7 月至 12 月期间，OpenAI、Meta 及 Bytedance 是对媒体公司影响最大的三大 AI 代理供应商或所有者。

不同类型的 AI 爬虫程序行为不尽相同，有些对出版业的最终收益影响更大。我们的研究表明，AI 抓取器尤其令人担忧，它们能根据特定用户请求实时从网页收集信息。这会导致访问出版机构网站的用户数量减少，页面浏览量和推荐流量也随之骤降。

这种发现凸显了具备 AI 流量监测能力，知晓哪些 AI 爬虫程序在对网站进行爬网、它们收集了何种内容以及操作者身份的重要性。

AI 爬虫程序带来的威胁不止收入损失。大规模抓取网络内容会导致基础架构成本攀升，包括服务器、云及内容交付网络 (CDN) 的费用都会上涨。不必要的自动化流量会降低网站性能，引发延迟，破坏用户体验。

网络内容抓取不仅会在出版公司的内容被转载到仿冒网站、聚合网站或假冒网站时损害其声誉，还有可能引入安全漏洞，进而在未来造成损害。

尽管阻止所有 AI 爬虫程序看似能快速解决问题，但实际上可能适得其反。一些 AI 公司可能乐意提供合作或授权机会，这既可以创造新的收入流，又能使已出版内容在网络上获得更高的曝光量。

出版公司若要掌控内容、保护自身业务，必须能够查看、了解并管理 AI 爬虫程序活动。监控爬虫程序流量，区分合法用户驱动型代理与未经授权的代理，对于做出明智决策十分关键，这些决策既能降低风险，又能为有益的爬虫程序提供便利。

阅读 SOTI 安全洞察系列报告，了解如何搭建信任与商业层，使已批准的代理访问权限可追溯且可交易。出版公司不必在阻止所有内容和接受免费使用之间艰难抉择。 

借助 Skyfire 和 TollBit 等平台，可以实现内容许可与公平的价值交换。Skyfire 能让出版公司联动“访问决策”与“变现机制”，并以一种既自动化又可审计的方式实现。TollBit 将内容爬取转变为受许可的且可创收的访问模式，从而在 AI 公司与网站之间实现了公平价值交易。

这些解决方案将共同助力出版公司重新掌控内容，将访问量转化为收入。

下载新一期的 SOTI 报告：《保护出版业：应对 AI 爬虫程序时代。