[00:00–00:16] Definição de TTFT: Explicação do tempo até o primeiro token (TTFT) como uma métrica que mede a rapidez com que um modelo de IA começa a gerar sua primeira resposta a uma consulta do usuário
[00:16–00:32] Impacto na experiência do usuário: Discussão sobre como o TTFT atua como um fator transformador na psicologia do usuário, fazendo com que as aplicações pareçam ágeis quando são rápidas ou frustrantes quando apresentam atrasos
[00:32–00:41] Variáveis técnicas: Visão geral dos principais fatores técnicos que influenciam o TTFT, incluindo o tamanho do modelo, o comprimento das filas de hardware e a arquitetura da aplicação
[00:41–00:52] O problema da proximidade: Uma análise detalhada da proximidade do usuário como o principal fator limitante que afeta a distância física e o caminho da rede até a infraestrutura de hospedagem
[00:52–01:04] Infraestrutura acima do modelo: A conclusão final é que o desempenho lento da inteligência artificial geralmente está relacionado à infraestrutura ao redor, e não ao modelo em si