为实时 AI 预留容量

在更靠近用户的位置运行高吞吐量 Blackwell GPU 推理

专为满足生产级 AI 需求打造的卓越性能

实时 AI 性能取决于吞吐量、延迟以及推理运行的位置。凭借 96GB GDDR7 ECC 显存与 1597 GB/s 的高带宽，Akamai Cloud 上的 RTX PRO 6000 Blackwell 可轻松满足复杂推理模型对运算速度的严苛要求。

联系 Akamai，共同探讨您的 GPU 容量、性能目标、工作负载适配性及区域需求。

提供您的工作负载、并发目标、延迟目标以及首选区域。

Akamai 将帮助您评估 GPU 容量、基准测试匹配度和部署需求。

获取专业指导，为高吞吐量 AI 推理工作负载提前预留基础架构。

一项最新研究印证了大多数 AI 团队的切身痛点：在生产环境的推理任务中，高峰期的负载延迟已成为首要的扩容难题。Akamai Cloud 将助您从容破局，将推理节点部署在更贴近用户的位置，从而在关键时刻为您提供更快速、更稳定的体验。

客户需求	Akamai Cloud 基准测试	业务成果
在负载下实现推理扩容	在 100 个并发请求下，吞吐量比 H100 高出 1.63 倍	能够处理更多 AI 请求，而不必默认采用规模更大、成本更高的 GPU 资源
更快生成回复	高达每台服务器 24,240 TPS	提升高吞吐量 AI 的响应速度
在高并发场景下保持低延迟	在 100 个并发请求下，TTFT 为 94.45 毫秒	为实时 AI 体验提供更快的首 token 响应速度
提高推理效率	从 FP8 切换到 FP4 精度，吞吐量提升 1.32 倍	在相同的 GPU 架构下，实现更高的性能输出
支持生产需求	基准测试使用了 100 个并发运行，每个运行均包含 200 个输入 token 和 200 个输出 token	根据真实的短提示-响应工作负载进行性能验证

Akamai Cloud 助力团队在更靠近用户、设备与数据源的位置运行性能敏感型 AI 工作负载。

为各类助理、助手、语音代理、RAG 工作流以及推理系统提供支持。

运行结合语言、视觉、语音和决策功能的工作负载。

在更靠近摄像头、图像、传感器和视频数据生成的位置进行分析。

加速视频、渲染、图形处理、图像转换及视觉类工作负载。