美国新闻与世界报道

“通过确保我们是数据的权威来源,我们能够将更多的有机搜索流量汇集到网站,从而通过这些访问量盈利。”

Matt Kupferman , 高级工程总监 , 美国新闻与世界报道

现状

U.S. News & World Report 成立于 1933 年,它是一个多平台的新闻和信息出版商,推出的产品包括 www.usnews.com 以及纸质版和电子书版的年度《最佳学院》《最佳研究生院》和《最佳医院》权威排名。2012 年,美国新闻与世界报道发起了一个部门会议,聚焦关于科学技术工程数学教育医疗保健的明天的重要全国性对话和解决方案。U.S. News 聚焦于健康、个人金融、教育旅游汽车新闻观点,被认为是提供改善读者生活质量的服务新闻和信息的领先提供商。U.S. News & World Report 的标志性特许经营产品包括《消费者建议》和《最佳》系列消费者指南,包括学院研究生院高中、医院、疗养院、共同基金、保健计划、饮食等方面的排名。

挑战

作为以数字为中心的媒体机构,美国新闻与世界报道依靠其独特而引人入胜的内容,把访问者吸引到它的网站。目前每个月有超过 3 千万决策者,带来了 1.6 亿的页面浏览量,同比 (YoY) 增长 20 %。1企业试图接触其观众当中受教育的专业人士、商业领袖和政策制定者,美国新闻与世界报道通过向商家出售广告和赞助机会,从这些被浏览内容中获利。

美国新闻与世界报道的知识产权包括越来越多领域中备受期待的排名。对美国新闻与世界报道来说,在网上免费提供这些内容能让它的观众更容易看到,有利于提高其自然搜索排名。然而,这也使得独立的第三方更容易通过自动化爬虫程序窃取这些内容,并将其放在他们的网站上用于其他用途。这导致了访问者的转移,还可能影响到广告收入。高级工程总监 Matt Kupferman 称:“美国新闻与世界报道其实明白,一些个人团体在挪用我们的数据,私自发布并得到更高的搜索排名。”

目标

为支持公司目标,美国新闻与世界报道需要满足一些要求:

  • 收入保护。 美国新闻与世界报道想要发现并阻止第三方窃取它的网站内容,并将排名数据用作它途。
  • 利用可见性更大的爬虫程序来减少开销。 由于缺少解决方案,美国新闻与世界报道不得不手动筛选并分析日志,从而识别并阻止正在窃取其网站内容的爬虫程序。
  • 大规模性能。 有了 20% 的同比增长率,美国新闻与世界报道希望确保源站负载不会损害合法用户的使用性能。
  • 综合性爬虫程序管理。 美国新闻与世界报道想对爬虫程序进行精细观察,以便更好地了解网站来访者,以及是谁在驱动爬虫程序运行。

为何选择 Akamai?

保护和提高数字化收入
对于 U.S. News 而言,部署 Akamai Bot Manager 解决方案的最大业务推动因素是保护大量排名数据免受网络抓取。Kupferman 说道:“通过确保我们是数据的权威来源,我们能够将更多的有机搜索流量汇集到网站,从而通过这些访问量盈利。”防止广告和赞助收入被第三方网站分刮直接支持了其业务,并进一步确保了在纯数字世界里,美国新闻与世界报道仍然有其经济可行性。

此外,通过部署 Bot Manager,美国新闻与世界报道能够接触到卫生保健数据提供者愿意发布的,以纳入其保健内容的其他数据。为了继续扩大读者基础、吸引对广告伙伴有价值的观众,美国新闻与世界报道制定了战略,其中至关重要的一点,就是寻找新的方法来增加内容价值。

更好地监测爬虫程序
与任何在线业务一样,能够更好地监测访问其网站的流量,这对于 U.S. News 来说是一个巨大的优势。Kupferman 说:“能够洞察谁在你的网站上爬找真的非常有趣。即使在监控模式下,你也能了解到许多关于你的流量来自哪里的信息。”更好地监测爬虫程序 - 通过 Akamai Control Center 轻松地实时监测 - 使得 U.S. News 能够更好地了解其他第三方正在如何使用它创造的内容。

在云端随业务发展实现扩展
在选择 Bot Manager 之前,U.S. News 曾尝试使用其现有的 Web 应用程序防火墙 (WAF) 手动管理爬虫程序流量,甚至曾短暂考虑过构建自己的内部解决方案。在对 Akamai 进行尽职调查时,它还调查了其他的爬虫程序管理方案,那些都要在本地数据中心内部署。然而,美国新闻与世界报道有一个巨大优势,就是 Bot Manager 在同一平台作为它的 CDN 运行。

Kupferman 解释说:“我们有许多并不特殊的请求,所以我们非常依赖超高速缓存。Bot Manager 是唯一能以 CDN 级别运行的解决方案。我们寻求的其他解决方案要求我们放弃高速缓存。现在,我们不用放弃了。”有了 Bot Manager,美国新闻与世界报道能够减少其源站 20% 的负载,从而减少基础设施成本,并为读者保持了网站性能。并且,通过更好地管理爬虫程序流量对 IT 的影响,美国新闻与世界报道能够更好地扩大其网络基础设施,以更有效地支持其业务增长。

全包式解决方案
与 Akamai CDN 集成的优势不局限于减少源站负载。从 IT 的角度来看,不需要以任何方式改变现有基础设施的占用空间,同样具有吸引力。“成为一套全包式解决方案,而不需要重新设计所有的东西,这是至关重要的。有了 Bot Manager,我们就可以拨动开关立即看到。为了在边缘实现真正的整合,这是唯一符合这一案例的东西。”Kupferman 总结道。


1 来自 http://mediakit.usnews.com/audience 的统计数据

Akamai 简介

Akamai 为全球的大型企业提供安全的数字化体验。Akamai 的智能边缘平台涵盖了从企业到云端的一切,从而确保客户及其公司获得快速、智能且安全的体验。全球优秀品牌依靠 Akamai 敏捷的解决方案扩展其多云架构的功能,从而获得竞争优势。Akamai 使决策、应用程序和体验更贴近用户,帮助用户远离攻击和威胁。Akamai 一系列的边缘安全、Web 和移动性能、企业访问和视频交付解决方案均可由优质客户服务、分析和全天候监控提供支持。如需了解全球顶级品牌信赖 Akamai 的原因,请访问 www.akamai.com/cn/zh/ 或 blogs.akamai.com,或者扫描下方二维码,关注我们的微信公众号。您可访问 https://www.akamai.com/cn/zh/locations.jsp 查找全球联系信息。