[00:00–00:45] Introducción al asistente de RAG: Lena Hall presenta cómo construir e implementar un chatbot basado en la tecnología de Generación Aumentada por Recuperación (RAG), que cuenta con capacidades de respuesta a preguntas fundamentadas en evidencia. Ella cuenta una anécdota sobre cómo quedó varada en un aeropuerto debido a retrasos en los vuelos y explica cómo un bot puede interpretar políticas contractuales complejas.
[00:45–01:24] Resumen de la arquitectura del sistema: Explicación del diagrama de arquitectura del sistema, que incluye el motor Kubernetes de Linode, el contenedor de la aplicación FastAPI, la orquestación de LangChain/LangGraph, las bases de datos PostgreSQL (conpgvector y estado de conversación), el almacenamiento de objetos de Linode y la integración con la API de OpenAI.
[01:24–02:29] Justificación de la arquitectura tecnológica: Se ha debatido la razón por la que se eligieron estas herramientas específicas para este proceso de producción: Python con LangChain y LangGraph para gestionar el estado de las conversaciones, pgvector en Postgres para evitar el uso de costosas bases de datos vectoriales dedicadas, y el motor Kubernetes de Linode (LKE) en la nube de Akamai con almacenamiento de objetos compatible con S3.
[02:29–02:54] Fase 1: Infraestructura como código (Terraform): Configurar la infraestructura mediante Terraform para crear el clúster de Kubernetes, los buckets de almacenamiento de objetos en S3 y dos bases de datos PostgreSQL (una para vectores y otra para el historial de chat).
[02:54–03:07] Generar clave de API de Linode: Guía paso a paso para iniciar sesión en la consola de Akamai Cloud y crear un token de acceso personal de Linode con permisos de lectura y escritura para bases de datos, Linodes, Kubernetes y almacenamiento de objetos.
[03:07–03:48] Ejecutando comandos de Terraform: Dirígete al directorio terraform/, copia el archivo terraform.tfvars.example en terraform.tfvars, inserta la clave de la API, ejecuta los comandos terraform init, terraform plan y terraform apply, y finalmente guarda la salida de Terraform en formato JSON en el archivo terraform.output.json.
[03:48–04:12] Fase 2: Recepción/ Utilice el comando `s3cmd sync` con las credenciales obtenidas del resultado de Terraform para subir los documentos PDF de políticas locales al nuevo bucket de almacenamiento de objetos S3 creado en Akamai Cloud.
[04:12–05:16] Fase 3: Configuración de la plataforma de la aplicación: Recuperar las credenciales iniciales del administrador mediante kubectl desde los secretos del clúster, iniciar sesión en la interfaz web de Akamai, configurar el token de API para el almacenamiento interno de objetos e instalar la aplicación Harbor para alojar imágenes de contenedores.
[05:16–05:39] Gestión de secretos y políticas de red: Cambiar a la vista de equipo, conectar un repositorio de GitHub, crear la imagen del contenedor, configurar cuatro secretos cifrados (clave de la API de OpenAI, cadenas de conexión a la base de datos, credenciales de almacenamiento de S3 y clave de administrador) y definir las políticas de red saliente.
[05:39–06:16] Implementación de cargas de trabajo y creación de servicios: Configurar la implementación del gráfico Helm (rag-chatbot) utilizando variables de entorno y nombres de buckets de S3, y luego crear un servicio para exponer la aplicación en el puerto 80.
[06:16–07:20] Fase 4: Inicialización y validación: Probar el endpoint de salud mediante curl, inicializar las tablas de la base de datos PostgreSQL y la extensión pgvector a través de una solicitud a un endpoint de administración, activar el proceso de indexación de documentos en segundo plano e interactuar con la interfaz de chat en vivo para consultar las políticas de retrasos de vuelos de Delta Airlines.
[07:20–08:50] Cuellos de botella arquitectónicos y mejoras futuras: Análisis de la dependencia de las API externas de modelos de lenguaje (como OpenAI) frente al uso de modelos de código abierto alojados en nodos propios con GPU en la nube de Akamai, con el objetivo de mejorar la latencia, el control y la soberanía de los datos.
[08:50–09:36] Conclusión: Palabras finales e invitación a “Aprende inteligencia artificial con Lena Hall” y “Droid AI”.
[09:36–11:40] Promoción de servicios de consultoría: Resumen de las opciones de consultas individuales, asesoramiento técnico personalizado, auditorías de integración de inteligencia artificial y coaching para líderes empresariales ofrecidas por Droid AI.