メインコンテンツにスキップ
Background

GPUの配置が重要である理由

GPUの配置がAIのレイテンシー、エグレス(出方向の通信)コスト、信頼性、ワークロードのパフォーマンスになぜ影響するのかをご説明します。

ビデオの概要

ビデオの概要

[00:00-00:15] GPU配置の重要性:GPUの配置は本番環境の推論の重要な要素であり、AIワークロードの実行場所を決定付け、レイテンシー、エグレス(出方向の通信)コスト、アプリケーションの信頼性を左右します

[00:15–00:28] インフラに関する課題の変化:単にGPUにアクセスできるかではなく、特定のワークロードに適したコンピューティングリソースが適切な場所に配置されているかが課題となっています

[00:28–00:44] 柔軟性と高性能ハードウェア:Akamai Cloudはコア展開とリージョン展開の柔軟性を備えています。特にNVIDIA RTX PRO™ 6000 Blackwell GPUは推論スループットを担い、並行性の高い複雑な推論を実行します

[00:44–00:58] 最適なワークロード実行:より大きなモデルを購入したり、高額のGPUを配置したりするよりも、適切なワークロードを適切な場所で実行することが重要です

共有

その他のリソース

Akamai CloudにおけるNVIDIA RTX PRO 6000 Blackwellのベンチマーク

ベンチマークの結果、Akamai Cloud上で稼働するNVIDIA RTX PRO™ 6000 Blackwellは、H100と比較して最大1.63倍高い推論スループットを実現することが示されました。

Akamai CloudのGPU

Akamai CloudはNVIDIA RTX PRO™ 6000 Blackwell Server Edition® GPUとQuadro® RTXラインの複数のGPUオプションを提供しています。

AI Inference Cloud Platform for Real-Time AI

分散型クラウド、GPUコンピューティング、および組み込み型セキュリティを活用し、ユーザーの近くでAI推論を実行することで、リアルタイムAIアプリケーションやエージェントの提供を実現します。