[00:00–02:30] 薄れつつあるAIとの境界：Swapnil Bhartiya氏が、以前は独立した道を行く存在であったAIが、あらゆるアプリケーションやワークフローに浸透するようになった変化について取り上げます。Danielle Cookは、AIアプリケーションと非AIアプリケーションの間に明確な区別がもはや存在しないと説明します。今はアプリがAIを取り込んだり、APIを介してAIに接続したり、AIにデータをフィードしたり、サポートしたりするようになっているので、すべてのアプリがAIエコシステムの参加者だと言えます。
[02:31–03:25] 可視性とシャドウAI：Cookによれば、AIの使用状況について組織が得られる可視性のレベルはさまざまです。規制対象の産業分野では厳格な管理が維持されている場合もありますが、ほとんどの組織では、ワークフロー全体で未承認のシャドウAIが広く使用されていると想定しなければならず、プラットフォームチームや開発者にとって大きな監視上の課題となっています。
[03:26–04:56] 実験レベルと本運用との差異：AIを本番環境に移行すると、モデルパフォーマンスから実際のユーザーへの対応、レイテンシー要件、継続的な推論、実際のコストなどに重点がシフトします。CookはGPUはアーキテクチャの一部にすぎないと強調します。本番環境にはコンピューティング、ストレージ、ネットワーキングも必要であり、多くの補助的なタスク（API呼び出しやデータベースなど）が効率的に実行できるのはCPU上であることを認識する必要があります。
[04:57–06:09] インフラ戦略の見直し：AIにはリアルタイムでインタラクティブな性質があり、継続的なデータ移動があるため、アーキテクチャ設計ではAIのレンズを通してインフラ全体を見る必要があります。このため、コスト効率が高く高品質な顧客体験を大きな規模で実現するために、モデルルーティングやセマンティックキャッシングなどの戦略の実装が必要になります。
[06:09–08:01] データの引力とエッジコンピューティング：パラダイムは、コンピューティングの場所にデータを移動するのではなく、データの場所にコンピューティングを移動するように変化しています。サイズ、コンプライアンス、機密性の理由から、データが最も移動しにくいコンポーネントである場合が多いため、ワークロードの配置とエグレスコストの予測はアーキテクチャ上の重要な判断事項になりつつあります。
[08:02–09:56] 単一のAIリクエストに含まれる複雑さ：AIアプリケーションへの1つのユーザーリクエストが、複数のモデル、ベクトルデータベース、APIを含む多数の分散バックグラウンドリクエストをトリガーする場合があります。これらのシステムは常に同じ場所に配置されているとは限らないため、ネットワークの少しの遅延が重なって発生すると、GPUではなくネットワークやストレージが実際のボトルネックになる可能性があると、Cookは説明します。
[09:57–11:35] 分散データとエグレスコストの管理：企業データがパブリッククラウド、プライベートインフラ、エッジロケーションに分散していると、規制要因や地理的要因からデータの移動に大きなコストがかかり、複雑になります。Cookは、年間数十億ドルにも達しうる予想外のエグレスコストを回避するためには、データ転送料金を事前に考慮してアーキテクチャを設計することが必要だと強調します。
[11:36–13:08] AIアーキテクチャのゼロからの設計：現在プラットフォームを構築しているチームに対しては、最初から「移動中のデータ」を念頭に設計することをCookは推奨しています。これには、分散アプリケーションの想定、ユーザーに効率的にサービスを提供できる柔軟なワークロード配置、モデルやインフラの急速な変化に対応する基本的な移植性が含まれます。
[13:09–14:23] アーキテクチャ再検討の開始点：インフラを再構築しようとするチームは、利用可能なコンピューティングリソースの評価、実行するモデルの決定、データ所有権の評価、インフラを構築するか購入するかの判断、トークノミクスの分析から始める必要があります。
[14:24–15:16] 小規模モデルの価値：業界では最大規模のモデルが話題の中心ですが、小規模モデルによってコスト効率に優れた結果が得られることがあるとCookは指摘します。特定のタスクにCPUで動作する小規模モデルを使用すると、適切なワークロードルーティングによってコストを削減し、効率を向上させることができます。
[15:17–16:15] エッジコンピューティングの役割：エッジコンピューティングでは、エンドユーザーの近くにコンピューティングリソースが配置されます。これには、GPUの分散配置やコンテナ化されたエッジ環境が含まれる場合もあり、必要な体験を提供するために顧客が何を必要とするかに応じて、財務的な影響も管理しながら判断します。
[16:16–20:23] ブームを超えた後のAI戦略の設定：Cookは、AIには普遍的な成熟度モデルがないと指摘します。外部AIサービスを使用する場合、内部GPUをファインチューニングに使用する場合、モデルをゼロからトレーニングする場合、サーバーレス推論を使用する場合に関わらず、企業では固有のビジネス目標に合わせてAIインフラの選択を調整することが求められます。