[00:00–00:58] Introdução: Thorsten Hans apresenta o tutorial sobre como criar uma aplicação de chatbot baseada em LLM na nuvem da Akamai usando instâncias de GPU da Linode, Ollama, Spin e o Akamai Functions.
[00:58–02:22] Visão geral da arquitetura: Explicação do diagrama do sistema multicamadas, detalhando a instância Linode com uma GPU NVIDIA executando o Ollama e o Akamai Functions hospedando a aplicação Spin (front-end Astro e API TypeScript) com um armazenamento distribuído de chave-valor.
[02:22–03:30] Spin e componentes da aplicação: Visão geral do Spin como uma estrutura WebAssembly da CNCF e explicação dos dois componentes da aplicação: o front-end Astro e a API TypeScript.
[03:30–06:21] Lógica da API e fluxo de cache: Explicação passo a passo de como a API do TypeScript processa solicitações, consulta o armazenamento distribuído de chave-valor para fornecer respostas em cache, aplica a construção de prompts e mecanismos de proteção para novas consultas e armazena em cache as respostas geradas.
[06:21–09:03] Configuração da infraestrutura com o Terraform: Análise aprofundada da configuração do Terraform, mostrando o provedor Linode, o provisionamento de instâncias com GPUs NVIDIA dedicadas e a lógica de polling do provedor null.
[09:03–10:05] Configuração do firewall e da rede: Análise da configuração do firewall do Linode no Terraform, especificando regras para acesso SSH e tráfego da API HTTP do Ollama na porta 11434.
[10:05–12:26] Cloud-init e instalação do driver da GPU: Análise dos scripts do cloud-init no arquivo linode.yaml que automatizam atualizações de pacotes, instalação do driver da GPU, reinicializações do sistema e inicialização do serviço Ollama.
[12:26–14:49] Execução do provisionamento do Terraform: Execução do comando ‘terraform apply’ para construir a infraestrutura em nuvem, seguida de um avanço rápido do processo de provisionamento, que leva aproximadamente cinco minutos.
[14:49–16:07] Manifesto da aplicação Spin (spin.toml): Análise do arquivo spin.toml, detalhando gatilhos HTTP, roteamento de componentes, variáveis de ambiente, acesso ao armazenamento de chave-valor e permissões de host de saída.
[16:07–17:53] Implementação da API e medidas de segurança: Análise do código dos arquivos index.ts, handler.ts e guardrails.ts, explicando a validação de solicitações, limites de comprimento de entrada (500 caracteres) e correspondência de padrões regex para prevenção de injeção de prompts.
[17:53–19:30] Histórico de sessões e armazenamento em cache de chave-valor: Explicação sobre o rastreamento de sessão baseado em cookies e a implementação do arquivo kvService.ts para verificar e retornar respostas de consultas armazenadas em cache a partir do armazenamento de chave-valor.
[19:30–20:54] Invocação de LLM via LangChain: Análise detalhada do arquivo llaService.ts, mostrando a montagem do prompt (prompt do sistema, histórico de sessão, consulta do usuário) e a invocação do LLM usando os pacotes LangChain JS e Ollama.
[20:54–21:38] Dependências de pacotes: Revisão do arquivo package.json, destacando as dependências do Spin SDK e do LangChain necessárias para a compilação da aplicação WebAssembly.
[21:38–22:27] Compilação para WebAssembly: Execução do comando ‘spin build’ no terminal para compilar os componentes do front-end e da API em arquivos .wasm.
[22:27–23:59] Implantação no Akamai Functions: Autenticação via ‘spin’ (também conhecida como ‘login’) e execução do ‘spin’ (também conhecida como ‘deploy’) com variáveis de ambiente para publicar a aplicação WebAssembly globalmente.