[00:00–02:30] A fronteira da IA que está desaparecendo: Swapnil Bhartiya apresenta a mudança da IA, que antes funcionava em áreas isoladas, para uma tecnologia que agora permeia todas as aplicações e fluxos de trabalho. Danielle Cook explica que a distinção clara entre aplicações com IA e sem IA não existe mais. As aplicações agora contêm IA, conectam-se a ela por meio de APIs, fornecem dados a ela ou oferecem suporte, tornando cada aplicação uma participante do ecossistema de IA.
[02:31–03:25] Visibilidade e IA oculta: Cook discute os diferentes níveis de visibilidade que as organizações têm sobre o uso da IA. Embora setores regulamentados possam manter um controle rigoroso, a maioria das organizações deve presumir o uso generalizado e não aprovado de IA oculta em seus fluxos de trabalho, o que representa um desafio significativo de monitoramento para as equipes de plataforma e os desenvolvedores.
[03:26–04:56] Experimentação x demandas de produção: A implantação da IA em produção muda o foco do desempenho do modelo para o gerenciamento de usuários reais, requisitos de latência, inferência contínua e custos reais. Cook destaca que as GPUs são apenas parte da arquitetura. A produção também requer recursos de computação, armazenamento e rede, além do reconhecimento de que muitas tarefas complementares (como chamadas de API e bancos de dados) são executadas de forma eficaz nas CPUs.
[04:57–06:09] Repensando a estratégia de infraestrutura: Os arquitetos devem analisar toda a infraestrutura sob a ótica da IA, devido à natureza interativa e em tempo real da IA e à movimentação contínua de dados. Isso requer a implementação de estratégias como roteamento de modelos e cache semântico para oferecer experiências de alta qualidade e com boa relação custo-benefício aos clientes em grande escala.
[06:09–08:01] Gravidade de dados e computação de borda: O paradigma está mudando para levar a computação até os dados, em vez de mover os dados até a computação. Como os dados costumam ser o componente menos móvel devido ao tamanho, à conformidade ou à sensibilidade, o posicionamento de workloads e a antecipação dos custos de saída estão se tornando decisões arquitetônicas críticas.
[08:02–09:56] A complexidade de uma única solicitação de IA: Uma única solicitação de um usuário a uma aplicação de IA pode acionar dezenas de solicitações distribuídas em segundo plano, envolvendo vários modelos, bancos de dados vetoriais e APIs. Cook observa que, como esses sistemas nem sempre estão localizados no mesmo local, pequenas latências de rede repetidas podem se acumular, tornando a rede ou o armazenamento o verdadeiro gargalo, em vez da GPU.
[09:57–11:35] Gerenciamento de dados distribuídos e custos de saída: Com os dados corporativos espalhados por nuvens públicas, infraestrutura privada e locais de borda, a transferência de dados torna-se cara e complexa devido a fatores regulatórios e geográficos. Cook enfatiza a necessidade de planejar antecipadamente as taxas de transferência de dados para evitar custos de saída inesperados que podem chegar a bilhões anualmente.
[11:36–13:08] Como projetar uma arquitetura de IA do zero: Para equipes que estão desenvolvendo uma plataforma atualmente, Cook recomenda projetar para “dados em movimento” desde o primeiro dia. Isso envolve considerar aplicações distribuídas, alocação flexível de workloads para atender os usuários de forma eficaz e portabilidade fundamental para acomodar mudanças rápidas nos modelos e na infraestrutura.
[13:09–14:23] Pontos de partida para a reestruturação da arquitetura: As equipes que estão reestruturando sua infraestrutura devem começar avaliando os recursos computacionais disponíveis, determinando quais modelos serão executados, avaliando a propriedade dos dados, decidindo entre construir ou adquirir a infraestrutura e analisando a tokenômica.
[14:24–15:16] O valor dos modelos menores: Enquanto o setor se concentra excessivamente nos modelos maiores, Cook destaca que modelos menores podem, às vezes, oferecer resultados melhores e mais econômicos. Usar um modelo menor em uma CPU para tarefas específicas pode economizar dinheiro e melhorar a eficiência por meio do roteamento adequado de workloads.
[15:17–16:15] O papel da computação de borda: A computação de borda coloca os recursos computacionais próximos ao usuário final. Isso pode envolver locais distribuídos com GPUs ou ambientes de borda em contêineres, dependendo do que o cliente precisa para oferecer a experiência desejada e, ao mesmo tempo, gerenciar os impactos financeiros.
[16:16–20:23] Navegando pelas estratégias de IA além do hype: Cook observa que não existe um modelo universal de maturidade para a IA. As empresas devem alinhar suas escolhas de infraestrutura de IA aos seus objetivos comerciais específicos, seja simplesmente utilizando um serviço externo de IA, operando GPUs internas para ajuste fino, treinando modelos do zero ou utilizando inferência sem servidor.