Luisa Via Roma

Luisa Via Roma 使用 Akamai Bot Manager 缓解爬虫程序流量,从容应对在线购物者数量增加。

在区分真实流量和爬虫程序流量方面,没有其他爬虫程序管理产品可以做到这么全面。

Fabio Testa,Luisa Via Roma 软件架构师

现状

要成为成功的服装零售商,需要在承袭经典款式与把握新鲜潮流之间小心谨慎地取得平衡。自 20 世纪 30 年代初在意大利佛罗伦萨成立以来,Luisa Via Roma 一直秉承了这一理念。这家自那时起就开始经营女装、男装、童装、鞋靴和配饰业务的奢侈品零售商将业务拓展到了网上。其网站 (luisaviaroma.com) 使用八种语言向 200 多个国家/地区的购物者提供服务。一路走来,该网站获得了源源不断的网站访问者,截至 2017 年初,该网站的平均每月唯一访问者数量已经达到 200 万,目前该公司有 95% 以上的收入都来自这个网站。

挑战:防止爬虫程序对购物者造成不良影响

随着该零售商将其在线业务扩展到世界各地,它越来越难以区分合法的网站流量和不需要的爬虫程序流量。2016 年,当网站流量大幅增长时,爬虫程序的流量也出现激增。该公司担心,如果没有办法将爬虫程序的流量和购物者的流量分离,并减少不需要的爬虫程序流量,就会对购物者产生不良影响。Luisa Via Roma 的软件架构师 Fabio Testa 表示:“我们明白,爬虫程序对我们的网站造成了影响,但却无能为力。”

目标

Luisa Via Roma 的目标是维持其顶尖在线购物平台的地位,为了实现这一目标,该企业需要满足两个关键要求:

  • 让真正的购物者能够访问网站.该零售商不希望爬虫程序缓解措施妨碍合法流量访问他们的网站。
  • 激发对于在线业务的信心.Luisa Via Roma 希望保持和加强其作为领先在线零售商的声誉。

为什么选择 Akamai
选择实施全面的解决方案

作为 Akamai 服务(旨在提高 Web 性能)的现有客户,Luisa Via Roma 很自然地选择使用 Akamai Bot Manager。正如 Testa 所述,该零售商自行构建爬虫程序检测和缓解服务是不现实的。“Akamai Bot Manager 的基础是一个可靠的、经过认证的爬虫程序类别数据库,Akamai 会不断对其进行更新。另外,该产品还提供了许多动态分类爬虫程序的手段,并可根据众多因素进行权衡。在区分真实流量和爬虫程序流量方面,没有其他爬虫程序管理产品可以做到这么全面。”Testa 说道。

充分利用先进的功能

Bot Manager 部署到位后,Testa 和他的团队发现,他们可以轻松分析数据和配置产品,以满足 Luisa Via Roma 的需求。通过使用 Bot Manager,该团队可对每个自定义或预定义的爬虫程序类别应用一个独特的管理策略。“爬虫程序行为每天都在变化,让人难以招架。但 Bot Manager 不仅提供了有效的默认分类和缓解策略配置,还允许我们根据自己的情况定义新的条件和独特的类别。”Testa 解释道。

在寻找爬虫程序带宽使用变化时,Bot Manager 中的爬虫程序活动报告是 Testa 团队首先查看的信息来源。如果他们注意到趋势变化,该团队就会转至爬虫程序分析仪表板,以确定导致此变化的爬虫程序,并深入了解 HTTP 请求特征,以配置新的缓解规则。

Google 上的缓存

正如 Testa 所述,并非所有爬虫程序都是恶意爬虫程序,因此,不能不加区分地全面拦截。从商业角度来看,Google 爬虫程序是最有价值的爬虫程序。在线零售商必须满足 Google Shopping 的要求,并能够承受该爬虫程序频繁执行的网站验证,以避免被该服务禁止。借助 Bot Manager,Luisa Via Roma 能够微调其缓存策略以满足这一要求。同时,这也有助于减少对其源站基础架构的影响。

控制价格抓取程序

Luisa Via Roma 面临的另一个挑战是价格抓取程序,由于它们具有智能行为和再现用户浏览器足迹的能力,因此极难进行缓解。事实上,试图缓解这些抓取程序时,通常会导致大量误报,从而影响正当购物者的体验。

为了解决这个问题,Testa 的团队将 Bot Manager 与 Akamai Luna Property Manager 和 Google Invisible reCAPTCHA 集成在一起,以对流量进行认证。一旦浏览会话被认证为正当,网站访问者在既定时间段内就无需再通过新的验证码进行认证。

“我们的验证码解决方案的优势在于,它减少了需要执行的迭代工作,即每天定义新的自定义类别。简而言之,Bot Manager 使我们更容易消除自动购物行为。”Testa 说道。

更好地应对爬虫程序环境

就 Testa 而言,有效爬虫程序管理的关键在于避免减少合法的网站流量,因为这对业务和公司的在线声誉是不利的。“Bot Manager 为我们提供了接近 100% 避免误报的爬虫程序检测。”他说道。事实上,通过使用 Bot Manager,Luisa Via Roma 将未知爬虫程序在整体爬虫程序流量中的占比从 75% 以上降低到 25% 以下。

同时,Bot Manager 在短短 6 个月内就帮助将爬虫程序总流量从 45% 降低到 25%。“Bot Manager 让我们实现了重新设计的网站架构的全部价值,我们实施此架构的目的是为我们不断增长的业务提供支持。“爬虫程序缓解措施让我们有信心为我们的网站带来更多的流量,并进一步发展我们的业务。”他总结道。

Luisa Via Roma 简介

Luisa Via Roma 于 20 世纪 30 年代初在佛罗伦萨成立,并于 1999 年开设公司同名概念店和推出网上业务。LUISAVIAROMA.COM 是一家 100% 私营顶级在线奢侈品时装网站,为男士、女士和儿童提供精选的服装、鞋子和配饰,以及家居和设计产品 - 产品来自成熟的设计师以及优秀的新兴人才。请访问 https://www.luisaviaroma.com.


相关客户案例

Security

KKLab

Read More
Security

Intuit

Read More
Security

Suntory Business Systems

Read More