揭露机器人程序和网络爬虫的隐藏负担

近一半的网站流量由机器人程序、网络爬虫和其他自动应用程序组成

在您的网站流量内潜藏着能够帮助实现或损害企业目标的自动应用程序。了解机器人程序如何影响竞争、商业决策和 IT 负载。一刀切式的拦截方法将减少所需机器人程序的有益影响,同时也会消除不需要机器人程序的不良影响。了解为何 Akamai 的 Bot Manager 是机器人程序检测和内容保护的最佳解决方案。

什么是机器人程序?

机器人程序(网络机器人)和网络爬虫是通过互联网运行自动任务的软件应用程序。机器人程序有多种用途,其中既有有益的好机器人程序(如 Googlebot),也有剽窃 Web 页面或参与 DDoS 攻击的坏机器人程序。

为什么机器人程序和网络爬虫是一个难题?

机器人程序流量能够负责网站 40% 及以上的流量,而大部分网站的机器人程序流量可被认为是非关键性流量。该负担对客户的网站有两个主要影响:

  • 业务 — 网络爬虫试图窃取数字内容、库存、定价及其他专有信息。机器人程序还可能用于在客户网站上充当表格或垃圾评论,对网站进行搜索以获得个人身份信息 (PII) 或窃取有价值的库存详情。
  • IT 负载 — 不需要的机器人程序产生的额外流量给 IT 基础设施施加了过重的负担。未进行良好编码的机器人程序将降低网站性能,使本源之间相互竞争,从而无力为合法用户提供服务。

为什么要对机器人程序进行管理?

许多机器人程序在企业的在线业务战略中依法发挥作用。其他一些机器人程序则会对业务造成损害,它们会削弱企业的竞争优势,成为企业和客户之间的阻碍,或实施欺诈。传统的机器人程序缓解工具通常只会拦截机器人程序流量,对有益和有害的机器人程序同等对待,而这种做法只会推动恶意的机器人程序进行演变,从而使检测更为艰难。

Bot Manager 是什么?

Bot Manager 能够帮助客户更好地管理机器人程序对其业务和基础设施的影响。Bot Manager 的解决方案依赖于一个简单前提:并非所有机器人程序都同等创建,它们为企业提供一种灵活的框架,从而更好地管理每天访问其网站的大量机器人程序。

Bot Manager 的工作原理是什么?

Bot Manager 将全球分布的 Akamai Intelligent Platform™ 的可视性及规模与特征码、预定义分类和管理政策相结合,从而帮助客户应对数量巨大的机器人程序挑战。Bot Manager:

  • 允许客户创建机器人程序类别,这些类别可反映特定机器人程序对其业务的特定影响(无论是有益影响还是有害影响)。Bot Manager 包含三种默认的类别类型:客户已知机器人程序、Akamai 机器人程序及未知机器人程序。
  • 机器人程序特征码尝试访问客户网站时对其进行实时检测。
  • 为机器人程序类别实施适合于客户业务的不同管理政策(如减缓访问、重定向至备用源、充当陈旧数据)。
  • 提供可视化和报告工具,客户从而能了解多种机器人程序对其业务和 IT 基础设施所造成的影响。

为何 Akamai 的 Bot Manager 是机器人程序检测和内容保护的最佳解决方案?

Bot Manager 让企业能自动化实时处理机器人程序、检测机器人程序特征码、独立处理各个特征码、分配操作以限制坏机器人程序的破坏,以及保留好机器人程序的所带来的益处。作为 Akamai 以全球分布式 Akamai Intelligent Platform™ 为构建基础的综合性 Web 解决方案,相比那些仅进行拦截的项目,Bot Manager 能够提供更好的可视性并能够更好地进行流量控制。每个解决方案均由“专业服务”专家提供支持,他们可以帮助您轻松启动和运行并激励您随战略演变进行创新。