メインコンテンツにスキップ
Background

TTFTとは

TTFTが何を測定するのか、何がそれに影響を与えるのか、なぜインフラが原因でAIアプリケーションが遅く感じられるようになるのかを説明します。

ビデオの概要

ビデオの概要

[00:00-00:16] TTFTの定義:Time to First Token(最初のトークンまでの時間、TTFT)とは、AIモデルがユーザーのクエリーに対して最初の応答を生成し始める速さを測定する指標です

[00:16–00:32] ユーザー体験への影響:TTFTは、どのようにユーザーの心理的に大きな影響を与え、アプリが高速である場合には快適に感じさせ、遅い場合には不具合があるように感じさせるのでしょうか

[00:32–00:41] 技術的変数:TTFTに影響を与える主要な技術的要因として、モデルサイズ、ハードウェアキューの長さ、アプリケーションアーキテクチャなどがあげられます

[00:41–00:52] 近接性というボトルネック:ユーザーの近接性は、ホスティングインフラへの物理的な距離とネットワーク経路を左右する主要なボトルネックです

[00:52–01:04] モデルではなくインフラが重要:まとめると、通常、AIのパフォーマンスが低速であることの原因は、モデル自体ではなく周囲のインフラであるということです

共有

その他のリソース

Akamai Cloudを、AI、アプリケーション、エージェントに活用

Akamaiは、オンラインビジネスの力となり、守るサイバーセキュリティおよびクラウドコンピューティング企業です。

Akamai CloudのGPU

Akamai CloudはNVIDIA RTX PRO™ 6000 Blackwell Server Edition® GPUとQuadro® RTXラインの複数のGPUオプションを提供しています。

AI Inference Cloud Platform for Real-Time AI

分散型クラウド、GPUコンピューティング、および組み込み型セキュリティを活用し、ユーザーの近くでAI推論を実行することで、リアルタイムAIアプリケーションやエージェントの提供を実現します。