Akamai Inference Cloud は、推論をユーザーやデータの近くで実行するよう設計された、分散型の AI インフラプラットフォームです。
重要ポイント：
AI インフラは、集約型の AI ファクトリーとエンドユーザーの間の物理的な距離が、リアルタイムアプリケーションの根本的なボトルネックになるという、きわめて重要な変曲点に到達しました。IDC の Dave McCarthy 氏は、この IDC Link で、Akamai がこうした問題に対して、地理的に分散されたクラウドの上にインテリジェント・オーケストレーション・レイヤーを作成して対処する方法について深堀りしています。さらに、次の内容も取り上げています。
- Akamai Inference Cloud がエンタープライズ AI をパイロットプロジェクトから本番環境レベルのインフラに変える方法。
- 従来のハイパースケールモデルが持つ物理的および経済的なボトルネック（ラウンドトリップ時間の 100 ミリ秒以上の遅延や集約型クラウドにかかる高いエグレスコスト）を解決する方法。
- ピーク時に超低レイテンシーのパフォーマンスが求められるゲーム、金融サービス、ライブメディアなどの分野に並行性の高いユースケースを実装する方法。
よくある質問（FAQ）
Akamai は、NVIDIA BlueField-3® Data Processing Unit（DPU）と相互接続する数千の NVIDIA RTX PRO™ 6000 Blackwell Server Edition GPU を使用して、4,400 を超えるエッジ拠点に展開しています。インテリジェント・オーケストレーション・レイヤーが高速なブローカーの役割を果たし、近接性、コスト、GPU の可用性に基づいて AI リクエストを最適なコンピューティングレベルにルーティングします。
私たちは、AI 推論をネットワークのエッジで展開することで、コンピューティングリソースとエンドユーザーの間の物理的な距離の大幅な短縮を実現しました。これにより、決定的かつ超低レイテンシーという、ゲーム、金融サービス、ライブメディアなどのセクターに不可欠な要件を満たすことができたのです。