[00:00-00:45] Introduzione all'assistente RAG: Lena Hall descrive come creare e distribuire un chatbot RAG (Retrieval Augmented Generation) con funzionalità Q&A basate sui fatti. Inoltre, parla di quando è rimasta bloccata in aeroporto a causa di un ritardo del suo volo e spiega come un bot sia in grado di analizzare le complesse policy contrattuali.
[00:45-01:24] Panoramica dell'architettura di sistema: spiegazione del diagramma dell'architettura del sistema, che include Linode Kubernetes Engine, il container delle applicazioni FastAPI, il sistema di orchestrazione LangChain/LangGraph, i database Postgres (pgvector e stato della conversazione), Linode Object Storage e l'integrazione dell'API OpenAI.
[01:24-02:29] Logica dello stack tecnologico: discussione sui motivi per cui sono stati selezionati strumenti specifici per questa build di produzione, tra cui Python con LangChain e LangGraph per lo stato della conversazione, pgvector su Postgres per evitare i costosi database vettoriali dedicati e LKE (Linode Kubernetes Engine) sull'Akamai Cloud con Object Storage compatibile con S3.
[02:29-02:54] Fase 1. IaC (Infrastructure-as-Code) di Terraform: configura l'infrastruttura utilizzando Terraform per creare il cluster di Kubernetes, i bucket di Object Storage S3 e due database Postgres (uno per i vettori e uno per la cronologia delle chat).
[02:54-03:07] Generazione della chiave API Linode: procedura dettagliata di accesso alla console sull'Akamai Cloud per creare un token di accesso personale Linode con autorizzazioni di lettura/scrittura per database, Linode, Kubernetes e Object Storage.
[03:07-03:48] Esecuzione dei comandi Terraform: apri la directory terraform/, copia terraform.tfvars.example in terraform.tfvars, inserisci la chiave API, esegui terraform init, terraform plane terraform apply, quindi salva terraform output .json in terraform.output.json.
[03:48-04:12] Fase 2. Acquisizione: utilizzando la sincronizzazione s3cmd con le credenziali estratte dall'output di Terraform per caricare i documenti PDF delle policy locali nel bucket di Object Storage S3 appena creato nell'Akamai Cloud.
[04:12-05:16] Fase 3. Configurazione di App Platform: recupera le credenziali di amministratore iniziali tramite kubectl dai segreti del cluster, accedi all'interfaccia web di Akamai, configura il token API per le funzionalità di Object Storage interne e installa l'applicazione Harbour per ospitare le immagini dei container.
[05:16-05:39] Gestione dei segreti e delle policy di rete: passa a Team View, collega un repository GitHub, creal'immagine del container, configura quattro oggetti Sealed Secret (chiave API OpenAI, stringhe di connessione al database, credenziali di archiviazione S3 e chiave di amministrazione) e definisci le policy di rete in uscita.
[05:39-06:16] Distribuzione dei carichi di lavoro e creazione dei servizi: configura il carico di lavoro di distribuzione del grafico Helm (rag-chatbot) con variabili di ambiente e nomi di bucket S3, quindi crea un servizio per rendere visibile il carico di lavoro sulla porta 80.
[06:16-07:20] Fase 4. Inizializzazione e verifica: esegui i test dell'endpoint di integrità tramite curl, inizializza le tabelle del database Postgres e l'estensione pgvector tramite una richiesta dell'endpoint di amministrazione, attiva il lavoro di indicizzazione del documento in background e interagisci con l'interfaccia di chat live per interrogare le policy per il ritardo dei voli di Delta Airlines.
[07:20-08:50] Colli di bottiglia architettonici e aggiornamenti futuri: analisi basata su API LLM esterne (OpenAI) rispetto a modelli open source self-hosting (come Llama o Mistral) su nodi basati sulle GPU all'interno dell'Akamai Cloud per migliorare la latenza, il controllo e la sovranità dei dati.
[08:50-09:36] Conclusione: commenti finali e invito ad apprendere l'intelligenza artificiale con Lena Hall e Droid AI.
[09:36-11:40] Promozione sui servizi di consulenza: panoramica su singole consulenze, indicazioni tecniche 1:1, audit sull'integrazione dell'AI e opzioni di coaching per i responsabili aziendali fornite da Droid AI.