[00:00–00:16] TTFT의 정의: 첫 토큰까지의 시간(TTFT)은 AI 모델이 사용자 질문에 대한 첫 번째 응답을 생성하기 시작하는 속도를 측정하는 지표임을 설명합니다.
[00:16–00:32] 사용자 경험에 미치는 영향: TTFT가 어떻게 심리적 게임 체인저로 작용해 빠를 때는 앱이 원활하게 작동하는 것처럼 느껴지고, 지연될 때는 고장 난 것처럼 느껴지는지에 대해 알아봅니다.
[00:32–00:41] 기술적 변수: TTFT에 영향을 미치는 주요 기술적 요인에는 모델 크기, 하드웨어 큐 길이, 애플리케이션 아키텍처 등이 있음을 간략히 알아봅니다.
[00:41–00:52] 근접성 병목 현상: 사용자 근접성으로 인해 호스팅 인프라까지의 물리적 거리와 네트워크 경로에 미치는 주요 병목 현상을 자세히 살펴봅니다.
[00:52–01:04] 모델보다 중요한 인프라: AI 성능 저하의 주된 원인은 모델 자체가 아니라 주변 인프라에 있다고 최종 결론을 내립니다.