[00:00–00:45] Introdução ao assistente RAG: Lena Hall apresenta a criação e a implantação de um chatbot de Geração Aumentada por Recuperação (RAG) com recursos de perguntas e respostas baseados em evidências. Ela conta uma história sobre ter ficado retida em um aeroporto devido a atrasos de voos e explica como um bot pode analisar políticas contratuais complexas.
[00:45–01:24] Visão geral da arquitetura do sistema: Explicação do diagrama de arquitetura do sistema, incluindo o Linode Kubernetes Engine, o contêiner de aplicações FastAPI, a orquestração LangChain/LangGraph, os bancos de dados Postgres (pgvector e estado da conversa), o Linode Object Storage e a integração com a API da OpenAI.
[01:24–02:29] Justificativa do stack de tecnologia: Discussão sobre os motivos da seleção de ferramentas específicas para esta versão de produção, incluindo Python com LangChain e LangGraph para o estado da conversa, pgvector no Postgres para evitar bancos de dados vetoriais dedicados e caros, e o Linode Kubernetes Engine (LKE) no Akamai Cloud com armazenamento de objetos compatível com S3.
[02:29–02:54] Fase 1: Infraestrutura como código (Terraform): Configuração da infraestrutura usando o Terraform para criar o cluster do Kubernetes, buckets de armazenamento de objetos S3 e dois bancos de dados Postgres (um para vetores e outro para o histórico de chat).
[02:54–03:07] Geração da chave de API do Linode: Passo a passo para fazer login no console do Akamai Cloud e criar um token de acesso pessoal do Linode com permissões de leitura/gravação para bancos de dados, Linodes, Kubernetes e Object Storage.
[03:07–03:48] Execução dos comandos do Terraform: Navegando até o diretório terraform/, copiando terraform.tfvars.example para terraform.tfvars, inserindo a chave de API, executando terraform init, terraform plan e terraform apply, seguido pelo salvamento da saída do Terraform em formato .json no arquivo terraform.output.json.
[03:48–04:12] Fase 2: Ingestão: Usando o s3cmd sync com as credenciais extraídas da saída do Terraform para enviar documentos PDF de políticas locais para o bucket de armazenamento de objetos S3 recém-criado no Akamai Cloud.
[04:12–05:16] Fase 3: Configurando a plataforma da aplicação: Recuperação das credenciais iniciais de administrador por meio do kubectl a partir dos segredos do cluster, login na interface web da Akamai, configuração do token de API para o armazenamento de objetos interno e instalação da aplicação Harbor para hospedar imagens de contêineres.
[05:16–05:39] Gerenciamento de segredos e políticas de rede: Mudança para o Team View, conexão com um repositório do GitHub, compilação da imagem do contêiner, configuração de quatro segredos selados (chave da API da OpenAI, strings de conexão do banco de dados, credenciais de armazenamento S3 e chave de administrador) e definição de políticas de rede de saída.
[05:39–06:16] Implantação de workloads e criação de serviços: Configurar a workloads de implantação do Helm chart (rag-chatbot) com variáveis de ambiente e nomes de buckets do S3 e, em seguida, criar um serviço para expor a workload na porta 80.
[06:16–07:20] Fase 4: Inicialização e validação: Teste do endpoint de integridade via curl, inicialização das tabelas do banco de dados Postgres e da extensão pgvector por meio de uma solicitação ao endpoint de administração, acionamento da tarefa em segundo plano de indexação de documentos e interação com a interface de chat ao vivo para consultar as políticas de atrasos de voos da Delta Airlines.
[07:20–08:50] Gargalos arquitetônicos e atualizações futuras: Análise da dependência de APIs externas de LLM (OpenAI) em comparação com a hospedagem própria de modelos de código aberto (como Llama ou Mistral) em nós baseados em GPU no Akamai Cloud para melhorar a latência, o controle e a soberania dos dados.
[08:50–09:36] Conclusão: Considerações finais e convite para “Aprenda IA com Lena Hall” e “Droid AI”.
[09:36–11:40] Promoção de serviços de consultoria: Visão geral das consultas individuais, orientação técnica individualizada, auditorias de integração de IA e opções de coaching para líderes empresariais oferecidas pela Droid AI.