分布式 AI 推理——开启下一代计算技术

虽然训练在构建稳健的 AI 模型方面仍将发挥核心作用，但未来的焦点无疑是推理。推理的核心是将模型部署到实际应用中，为企业与消费者实时提供切实可行的见解和成果；同时，将边缘的动态反馈回路重新注入训练流程，由此培育出模型持续改进且不断适应的良性循环。 

AI 推理是将 AI 潜力转化为实际应用并带来真实世界影响的关键节点。  我们的客户正在各行各业及各种应用场景中广泛应用 AI 推理。其中包括： 

• 智慧城市：优化交通流量以减少拥堵并提高安全性；通过智能监控提升公共安全

• 无人驾驶汽车：实现瞬间决策，促进高效的车辆排队行驶

• 工业物联网 (IoT) 和制造业：实施预测性维护以避免停机；通过实时视频分析改进质量控制

• 智能零售：通过智能结账和库存管理，提供超个性化的购物体验并简化运营

• 医疗保健和远程医疗：实时监控患者情况，通过图像处理加快医疗诊断速度，并为先进的可穿戴设备提供支持

• 媒体和娱乐：策划个性化内容，实现实时视频转码和直播增强

这些示例仅仅揭示了客户通过 AI 推理所实现成果的冰山一角。随着边缘计算的继续发展，我们预计各个领域会涌现出更多创新应用。

此类创新的落地带来了一些常见挑战，包括延迟、成本和可扩展性。在 Akamai，我们数十年来一直致力于在各种不同的场景下解决这些问题。

将大量通用、性能过剩的 GPU 整合到集中式数据中心的方法，已不足以按大众需求的规模和响应速度要求来提供经过良好训练的 AI 模型的输出。我们需要采用一种全新的模式，让推理架构能够更靠近用户；即，通过分布式云模型来实现此目标。

通过分布式云提供 AI 推理时，需要考虑一些独特因素，其中包括： 

• 延迟和响应速度：在集中式云数据中心之间来回传输数据会对用户体验产生负面影响，并且可能导致失去商机。去中心化分布式架构可以缩短推理响应时间。
  

• 资源限制：边缘设备面临电力、存储和计算能力方面的限制。在这些限制条件下，部署能够提供强大性能的轻量级、高效 AI 模型至关重要。
  

• 安全和数据隐私：本地数据处理可减少传输过程中的数据暴露，从而提高安全性。对于医疗保健、金融和政府等必须遵循严格的数据存放区域和隐私法规的行业来说，这一点尤为重要。
  

• 可扩展性和分布式架构：随着托管 AI 应用的分布式地点的数量不断增加，管理和更新整个网络的 AI 模型变得越来越复杂。用于模型部署和维护的可扩展解决方案必不可少。
  

• 带宽和成本效益：以去中心化方式运行的 AI 推理可以显著减少传输到集中式云服务器的数据量。这不仅可以缓解网络拥塞，还大大节省了数据传输和存储成本。

这些考虑因素是在分布式、去中心化云基础架构上部署 AI 的关键方面，并且吸引了希望在其业务中有效利用 AI 的企业的关注。

Akamai 正在打造全球广泛分布的分布式云。我们广泛的全球基础架构经过了近 30 年的发展，包括 25 个以上的核心计算区域、一组快速扩展的分布式计算位置，以及超过 4,000 个边缘入网点。这个强大的生态系统可以满足企业当前和未来的 AI 推理需求。

我们认识到，虽然客户需要高性能，但他们对使用传统云供应商的服务时普遍存在的过高成本超支越来越警惕。Akamai Cloud 专为解决这一日益严重的问题而设计。

我们并没有去囤积价格昂贵且对于 AI 推理任务来说性能过剩的通用 GPU，而是选择为客户提供一种均衡的 GPU 替代方案：NVIDIA 的 RTX 4000 Ada 系列 GPU 兼具性能与成本效益，是 AI 推理和运行小语言模型以及媒体转码等专业工作负载的理想之选。

利用此方法，我们可以在更靠近用户的位置提供卓越的 AI 功能，同时确保客户的成本效益。我们的测试表明，运行生成式 AI Stable Diffusion 模型时能够节省超过 80% 的成本，远优于传统公有云服务提供商提供的同等 GPU 替代方案。

我们相信，这种方法可以产生强大且经济高效的成果，并且能够为全新的 AI 应用场景提供支持。

随着我们不断提升 AI 的实用性，我们认为分布式推理不仅是一项技术进步，更是在根本上重构 AI 的应用范式。从集中式、资源密集型计算到分布式、高效边缘计算的转变不仅势在必行，而且已经在进行中。

Akamai 不仅仅是观察这一变革，还在积极塑造它。通过将我们全球分布式网络的优势、战略性云计算投资（包括针对推理优化的 GPU）与对性能和成本效益的深刻理解相结合，我们致力于让企业能够充分发挥 AI 推理的真正潜力。

众多企业已经认识到，这已经不再是一个是否应该接受 AI 推理的问题，而是应该如何接受它的问题。边缘不再只是数据的目的地，它正在成为 AI 提供其最具影响力的实时见解的主要领域。欢迎进入下一代的计算领域。