跳转到主要内容
Background

为什么 GPU 的部署位置至关重要

了解 GPU 的部署位置如何影响 AI 延迟、出站流量成本、可靠性以及工作负载性能。

视频摘要

视频摘要

[00:00–00:15] GPU 部署位置的重要性:说明 GPU 的部署位置是生产推理的关键要素,它决定了 AI 工作负载的执行位置,并控制延迟、出站流量成本和应用程序的可靠性

[00:15–00:28] 不断演变的基础架构议题:概述行业关注点如何从单纯拥有 GPU 资源,转变为针对特定工作负载在合适的位置匹配合适的计算能力

[00:28–00:44] 灵活性和高性能硬件:介绍 Akamai Cloud 在核心和区域位置部署方面的灵活性,并重点介绍 NVIDIA RTX PRO™ 6000 Blackwell GPU 在高并发环境下的推理吞吐量和复杂推理能力。

[00:44–00:58] 经优化的工作负载执行:最终总结强调,应更加关注在合适的位置运行合适的工作负载,而不是购买更大的模型或配置昂贵的 GPU 资源。

分享

其他资源

针对 Akamai Cloud 上的 NVIDIA RTX Pro 6000 Blackwell 进行基准测试

基准测试显示,Akamai Cloud 上运行的 NVIDIA RTX PRO™ 6000 Blackwell 的推理吞吐量最高可达 H100 的 1.63 倍。

基于 Akamai Cloud 平台的 GPU 算力服务

Akamai Cloud 提供多种 GPU 选项,包括 NVIDIA RTX PRO™ 6000 Blackwell 服务器版 (Server Edition®) 以及 Quadro® RTX 系列 GPU。

实时 AI 的 AI 推理云平台

通过分布式云、GPU 计算和内置安全性,更靠近用户运行 AI 推理,从而实现实时 AI 应用程序和智能体。