U.S. News & World Report

成立于 1933 年的美国新闻与世界报道是一种多平台新闻信息出版物，其中包括 www.usnews.com、年度刊物及其最佳大学、最佳研究生院和最佳医院权威排名的电子书版本。2012 年，美国新闻与世界报道发起了一个部门会议，聚焦关于科学技术工程数学教育与医疗保健的明天的重要全国性对话和解决方案。美国新闻与世界报道通过专注于健康、个人理财、 教育、旅游、汽车、新闻与评论，致力于提高读者的生活质量，并因作为提供此类服务性新闻与信息的领先者而赢得了美誉。美国新闻与世界报道的标志性核心板块包括其‘消费建议’（Consumer Advice）以及‘最佳’（Best）系列消费指南，其中包括对大学、研究生院、高中、医院、疗养院、共同基金、医疗保险计划、饮食等维度的排名。

挑战

作为以数字为中心的媒体机构，美国新闻与世界报道依靠其独特而引人入胜的内容，把访问者吸引到它的网站。目前每个月有超过 3 千万决策者，带来了 1.6 亿的页面浏览量，同比 (YoY) 增长 20 ％。¹企业试图接触其观众当中受教育的专业人士、商业领袖和政策制定者，美国新闻与世界报道通过向商家出售广告和赞助机会，从这些被浏览内容中获利。

美国新闻与世界报道的知识产权包括越来越多领域中备受期待的排名。对美国新闻与世界报道来说，在网上免费提供这些内容能让它的观众更容易看到，有利于提高其自然搜索排名。然而，这也使得独立的第三方更容易通过自动化爬虫程序窃取这些内容，并将其放在他们的网站上用于其他用途。这导致了访问者的转移，还可能影响到广告收入。高级工程总监 Matt Kupferman 称：“美国新闻与世界报道其实明白，一些个人团体在挪用我们的数据，私自发布并得到更高的搜索排名。”

目标

为支持公司目标，美国新闻与世界报道需要满足一些要求：

• 收入保护。美国新闻与世界报道想要发现并阻止第三方窃取它的网站内容，并将排名数据用作它途。
• 利用可见性更大的爬虫程序来减少开销。由于缺少解决方案，美国新闻与世界报道不得不手动筛选并分析日志，从而识别并阻止正在窃取其网站内容的爬虫程序。
• 大规模性能。有了 20% 的同比增长率，美国新闻与世界报道希望确保源站负载不会损害合法用户的使用性能。
• 综合性爬虫程序管理。美国新闻与世界报道想对爬虫程序进行精细观察，以便更好地了解网站来访者，以及是谁在驱动爬虫程序运行。

为什么选择 Akamai？

保护并增加数字收入
对美国新闻与世界报道而言，拥有保护自己巨大的排名数据库存，防止网站内容遭窃取的能力，是部署 Akamai Bot Manager 解决方案的最大商业驱动力。Kupferman 说道：“通过确保我们是数据的权威来源，我们能够将更多的有机搜索流量汇集到网站，从而通过这些访问量盈利。”防止广告和赞助收入被第三方网站分刮直接支持了其业务，并进一步确保了在纯数字世界里，美国新闻与世界报道仍然有其经济可行性。

此外，通过部署 Bot Manager，美国新闻与世界报道能够接触到卫生保健数据提供者愿意发布的，以纳入其保健内容的其他数据。为了继续扩大读者基础、吸引对广告伙伴有价值的观众，美国新闻与世界报道制定了战略，其中至关重要的一点，就是寻找新的方法来增加内容价值。

更好地监测爬虫程序
与任何在线业务一样，能够更好地监测访问其网站的流量，这对于 U.S. News 来说是一个巨大的优势。Kupferman 说：“能够洞察谁在你的网站上爬找真的非常有趣。即使在监控模式下，你也能了解到许多关于你的流量来自哪里的信息。”更好地监测爬虫程序 - 通过 Akamai Control Center 轻松地实时监测 - 使得 U.S. News 能够更好地了解其他第三方正在如何使用它创造的内容。

在云端扩展业务
在选择 Bot Manager 之前，美国新闻与世界报道曾试图借助他们现有的 Web 应用防火墙 (WAF) 手动管理其爬虫程序流量，甚至简单考虑过构建自己的内部解决方案。在对 Akamai 进行尽职调查时，它还调查了其他的爬虫程序管理方案，那些都要在本地数据中心内部署。然而，美国新闻与世界报道有一个巨大优势，就是 Bot Manager 在同一平台作为它的 CDN 运行。

Kupferman 解释说：“我们有许多并不特殊的请求，所以我们非常依赖超高速缓存。Bot Manager 是唯一能以 CDN 级别运行的解决方案。我们寻求的其他解决方案要求我们放弃高速缓存。现在，我们不用放弃了。”有了 Bot Manager，美国新闻与世界报道能够减少其源站 20% 的负载，从而减少基础设施成本，并为读者保持了网站性能。并且，通过更好地管理爬虫程序流量对 IT 的影响，美国新闻与世界报道能够更好地扩大其网络基础设施，以更有效地支持其业务增长。

一套全包式解决方案
与 Akamai CDN 集成的优势不仅仅是源站负载的减少。从 IT 的角度来看，不需要以任何方式改变现有基础设施的占用空间，同样具有吸引力。“成为一套全包式解决方案，而不需要重新设计所有的东西，这是至关重要的。借助 Bot Manager，我们只需拨动开关就可以立即看到爬虫程序的相关情况。为了在边缘实现真正的整合，这是唯一符合这一案例的东西。”Kupferman 总结道。

¹统计数据来自 http://mediakit.usnews.com/audience