[00:00–00:21] Os custos ocultos da movimentação de dados: Swapnil Bhartiya apresenta o tema dos custos de saída que surpreendem as equipes ao colocar a IA em produção. Ele questiona qual a parcela do custo de inferência centralizada que se deve à movimentação de dados e como as organizações podem se planejar para essas despesas.
[00:22–01:07] Como modelar a conta completa de IA: Ari Weil afirma que, nos próximos 12 a 36 meses, as empresas bem-sucedidas modelarão sua conta inteira, em vez de confiar nos itens de linha divulgados pelos hiperescaladores. Ele explica que isso requer compreensão de variáveis de escalonamento, como aquisição de usuários e simultaneidade, além de conhecer as localizações exatas tanto da propriedade intelectual quanto dos dados de aprendizado externos.
[01:08–01:40] Avaliação da infraestrutura interna em comparação com a de nuvem: Weil sugere que o primeiro passo para as equipes seja calcular o custo do gerenciamento de dados em seu próprio ambiente, como um espaço alugado ou um data center privado, em vez de recorrer a provedores de nuvem. Esse processo ajuda as equipes a identificar limites de dados, zonas de disponibilidade e o impacto financeiro da distribuição entre diferentes tipos de infraestrutura.
[01:41–02:24] A barreira financeira da saída de dados da nuvem: Weil discute as altas despesas associadas à exportação de dados ou ao encerramento de uma parceria de nuvem, observando que taxas de 9 a 12 centavos por gigabyte são explicitamente projetadas para manter os dados presos dentro das plataformas de hiperescaladores. Ele acrescenta que, embora alguns fornecedores ofereçam uma isenção única para download de dados, a organização deve ter a intenção genuína de sair completamente da nuvem do provedor.
[02:25–03:15] A transição para a arquitetura neutra: A conversa passa a abordar as arquiteturas neutras, que permitem que as empresas armazenem dados em um único local, sincronizem esses dados entre diferentes áreas e os disponibilizem onde for mais lógico. Weil observa que uma arquitetura convergente, do núcleo à borda, pode parecer cara inicialmente, mas se torna vantajosa em termos de custo ao eliminar as taxas associadas à transferência de dados entre microsserviços que ultrapassam fronteiras geográficas.
[03:16–03:48] Determinação do posicionamento de workloads: Para finalizar uma estratégia de arquitetura, Weil explica que as organizações devem determinar exatamente onde a inferência é executada, com que frequência o treinamento e o ajuste fino ocorrem e onde o restante da atividade da aplicação se dá. Ao combinar esse conhecimento operacional com a modelagem do crescimento do número de usuários, as equipes podem decidir com precisão quais partes de sua aplicação devem ser centralizadas e quais devem ser distribuídas.