AI推論とは、学習済みモデルがリアルタイムデータを処理するときに出力を生成することです。企業が基本的なCopilotの使用からAIネイティブシステムの展開まで成熟するにつれ、推論にはきわめて少ないレイテンシーとより高い信頼性が求められるようになります。
重要ポイント
-
このインフォグラフィックは、200名以上のAIエンジニアおよびアーキテクトを対象に調査を行った、Akamaiの「AI推論の現状」レポートのデータに基づいて作成されました。
-
61%のチームが、AIネイティブのインフラへ移行するために100ミリ秒未満の応答時間を達成する必要があります。
-
チームは、ワークロードをユーザーとデータに近づけるため、分散型クラウド推論へと移行しています。
-
ワークロードは、かつての従業員の業務の自動化から、顧客からの信頼の確立と不正対策にまで拡張しています。
よくある質問（FAQ）
よくある質問（FAQ）
集中型推論はすべてのユーザーリクエストを単一の離れたデータセンターにルーティングするため、遅延が生じます。分散型クラウド推論は、AIモデルをユーザーとデータの近くに設置された小規模サーバーに展開します。
自動化されたネットワーク管理手法です。スクリーニングは受信したAIトラフィックをセキュリティの観点から分析する一方で、ステアリングは自動的にユーザーリクエストを最も効率的なクラウドサーバーにルーティングし、AI応答を最速で返すことを保証します。