リアルタイムAIのパフォーマンスは、スループット、レイテンシー、推論処理を実行する場所によって大きく左右されます。96GBのGDDR7 ECCメモリと1,597GB/sのメモリ帯域幅を搭載したRTX PRO 6000 Blackwellは、Akamai Cloud上で複雑な推論モデルに求められる処理速度を提供します。
本番環境のAIに求められるパフォーマンスを実現
- H100と比較して、最大1.63倍の推論スループットを達成
- 1サーバーあたり最大24,240トークン/秒の処理に対応
- FP8からFP4への移行により、スループットが1.32倍アップ
- 100件の同時推論リクエストにより、本番相当の負荷に対応
- エージェント型AI、マルチモーダルアプリケーション、ビジョンAI、メディアワークロードを実行
キャパシティをご予約ください
GPUキャパシティ、パフォーマンス目標、ワークロードとの適合性、リージョン別の要件については、Akamaiにご相談ください。
仕組み
パフォーマンスの課題は本番トラフィックが流れ始めたときに明らかになる
新しい調査では、本番環境での推論処理において、ピーク負荷時のレイテンシーが最大の課題になっているという、多くのAIチームがすでに現場で認識している課題が裏付けられました。Akamai Cloudは推論処理をユーザーにより近い場所で実行することで、この課題に先手を打ち、最も重要な瞬間に、より高速で一貫性のあるユーザー体験を提供します。
パフォーマンスを裏付ける実績
| お客様のニーズ | Akamai Cloudのベンチマーク | ビジネス成果 |
|---|---|---|
| 負荷時でも推論をスケーリング | 100件の同時リクエスト処理時に、H100と比較して最大1.63倍のスループットを実現 | より大規模で高コストなGPU構成に頼ることなく、より多くのAIリクエストを処理 |
| 応答生成を高速化 | 1サーバーあたり最大24,240 TPSの処理速度 | 大量のAI処理における応答速度を向上 |
| 同時実行環境でも低レイテンシーを維持 | 100件の同時リクエスト時に94.45ミリ秒のTTFTを実現 | リアルタイムAI体験に求められる高速な初回トークン応答を提供 |
| 推論効率を向上 | FP8からFP4への移行により、スループットを1.32倍向上 | 同じGPUアーキテクチャで、より高い処理性能を実現 |
| 本番環境の処理需要に対応 | 200入力トークンおよび200出力トークンを100件の同時実行で使用したベンチマーク | 実情に即した簡潔なプロンプト／レスポンス型ワークロードに基づき、パフォーマンスを検証 |
性能そのものが価値となるAIワークロード向けに構築
Akamai Cloudは、チームがパフォーマンスの重視されるAIワークロードをユーザー、デバイス、データソースにより近い場所で実行できるよう、支援します。