灵活管理业务及 IT 机器人程序影响的先进策略

机器人程序管理的最佳实践

部署机器人程序是出于有益、具有潜在危害或损害的目的。对机器人程序流量进行有效处理对于保持竞争力、降低 IT 架构的扩展至关重要。“管理而非缓解”的方法允许好机器人程序运行,同时以不易察觉的方式逐渐削弱坏机器人程序。利用 Bot Manager 对所有机器人程序流量进行识别、分类并采取适当措施。

对机器人程序流量进行管理而非缓解

一直以来,企业采用一刀切式的方法缓解(拦截)网络爬虫:以同样的方式拦截所有机器人程序和网站爬虫。该方法能够降低搜索引擎的可视性或减轻以其他方式对在线业务目标产生的消极影响。此外,拦截机器人程序从长期上看是无效的,因为这样只会让被拦截的机器人程序变异、演变并以更难以检测的形式返回网站。

传统的机器人程序缓解策略之所以无效是因为以下三个原因:

  • 拦截对所有机器人程序流量一视同仁,无论机器人程序是否对业务有益。
  • 拦截将机器人程序发回操作者,从而提示操作者改变机器人程序,以使机器人程序以隐藏身份返回。
  • 拦截有益的(好的)机器人程序可能会降低搜索引擎可视性并妨碍其他业务目标。
利用预定义特征码分析和实时检测管理机器人程序流量是一种更有效的方法,它们使得企业能够允许和确定有益机器人程序的优先级,同时拒绝或延迟对坏机器人程序的访问,甚至将其作为备用源、备用内容或缓存之外的内容。

根据特征码识别机器人程序

Akamai Intelligent Platform 能够深入全球 15% 到 30% 的 Web 流量,Akamai Intelligent Platform™ 包含 15 种自识别机器人程序分类,这些分类包含了 1,200 多种机器人程序。网站流量的粒度视图显示所接收的多达 40% 的流量可能由机器人程序和网络爬虫组成。

典型的流量配置文件可以发现:

  • 60% 用户流量
  • 20% 搜索引擎
  • 10% 未知
  • 5% 网站开发与监控
  • 2% Web 存档
  • 1% 广告
  • 1% 其他
根据特征码持续更新机器人程序目录,创建自定义特征码以识别已知机器人程序,对机器人程序特征码进行即时分类并分配实时响应操作,降低业务风险并减轻 IT 负载。

对机器人程序进行分类以获得更好的响应操作

机器人程序特征码包含使得稳健的解决方案(如 Bot Manager)能够将不同的机器人程序分为三类的要素。

  • Akamai 已知的机器人程序 — 利用其云安全智能 (CSI) 数据分析引擎,根据与其他 Akamai 客户的近期互动,不断更新其已知机器人程序的目录。
  • 客户已知的机器人程序 — 自定义特征码识别与网站定期(且合法)互动的已知机器人程序,利用 IP 地址、子网、ASN 和标头值分配特定操作。
  • 未知机器人程序 — 利用请求率、请求特性、机器人程序行为及工作流验证等多种特性来检测和识别未知的机器人程序。

通过特定的机器人程序管理操作降低 IT 负担

可以根据机器人程序分类分配适当的操作,从而尽量降低 IT 基础设施的负担。响应可以包含一系列高级操作:

  • 沉默否认,拦截来自网站的请求,但不向客户端返回错误代码,隐蔽响应。
  • 延迟允许在插入三秒钟的延迟后向网站发出请求。这对于管理有益的机器人程序可能有用,但会对来源施加巨大的性能负载。
  • 减缓允许在插入 8-10 秒钟的延迟后向网站发出请求。
  • 服务备用内容重定向对备用配置页面的请求。这允许使用不同于面向客户网站的信息向机器人程序作出响应,例如具有不同价格的同一产品的备用电子商务网站。
  • 服务备用源重定向对预配置备用源基础设施的请求。这一操作与服务备用内容类似,但还有助于最大程度降低面向客户的源基础设施的性能负载。
  • 服务已缓存响应内容之外的请求,这还有助于最大程度降低源基础设施的性能负载。