* プロモーションの引き換えに関する規則と条件をご覧ください
ビデオの概要
ビデオの概要
[00:00-00:16] TTFTの定義:Time to First Token(最初のトークンまでの時間、TTFT)とは、AIモデルがユーザーのクエリーに対して最初の応答を生成し始める速さを測定する指標です
[00:16–00:32] ユーザー体験への影響:TTFTは、どのようにユーザーの心理的に大きな影響を与え、アプリが高速である場合には快適に感じさせ、遅い場合には不具合があるように感じさせるのでしょうか
[00:32–00:41] 技術的変数:TTFTに影響を与える主要な技術的要因として、モデルサイズ、ハードウェアキューの長さ、アプリケーションアーキテクチャなどがあげられます
[00:41–00:52] 近接性というボトルネック:ユーザーの近接性は、ホスティングインフラへの物理的な距離とネットワーク経路を左右する主要なボトルネックです
[00:52–01:04] モデルではなくインフラが重要:まとめると、通常、AIのパフォーマンスが低速であることの原因は、モデル自体ではなく周囲のインフラであるということです