[00:00–00:45] Einführung in RAG‑Assistenten: Lena Hall stellt die Entwicklung und Bereitstellung eines RAG‑Chatbots (Retrieval-Augmented Generation) mit evidenzbasierten F&A-Funktionen vor. Sie erzählt eine Geschichte darüber, wie sie aufgrund von Flugverzögerungen an einem Flughafen festsaß, und erklärt, wie ein Bot komplexe Vertragsrichtlinien analysieren kann.
[00:45–01:24] Überblick über die Systemarchitektur: Erläuterung des Architekturdiagramms des Systems, einschließlich Linode Kubernetes Engine, FastAPI-Anwendungscontainer, LangChain/LangGraph-Orchestrierung, Postgres-Datenbanken (pgvector und Unterhaltungsstatus), Linode Object Storage und OpenAI‑API-Integration.
[01:24–02:29] Erklärung des Technologie-Stacks: Diskussion darüber, warum bestimmte Tools für diesen Produktions-Build ausgewählt wurden, einschließlich Python mit LangChain und LangGraph für den Unterhaltungsstatus, pgvector auf Postgres zur Vermeidung kostspieliger dedizierter Vektordatenbanken sowie Linode Kubernetes Engine (LKE) auf Akamai Cloud mit S3‑kompatiblem Objektspeicher.
[02:29–02:54] Phase 1: Infrastructure as Code (Terraform): Einrichtung der Infrastruktur mithilfe von Terraform, um Kubernetes-Cluster, S3‑Objektspeicher-Buckets und zwei Postgres-Datenbanken (eine für Vektoren und eine für Chatverlauf) zu erstellen.
[02:54–03:07] Generierung der Linode-API‑Schlüssel: Anleitung zur Anmeldung bei der Akamai Cloud-Konsole, um ein persönliches Linode-Zugriffstoken mit Lese-/Schreibberechtigungen für Datenbanken, Linodes, Kubernetes und Object Storage zu erstellen.
[03:07–03:48] Ausführen von Terraform-Befehlen: Navigation zum Verzeichnis terraform/, Kopieren von terraform.tfvars.example in terraform.tfvars, Einfügen des API‑Schlüssels, Ausführen von terraform init, terraform plan und terraform apply, gefolgt vom Speichern der Terraform-Ausgabe-JSON in terraform.output.json.
[03:48–04:12] Phase 2: Erfassung: Verwendung der s3cmd-Synchronisation mit Anmeldedaten, die aus der Terraform-Ausgabe extrahiert wurden, um lokale PDF‑Richtliniendokumente in den neu erstellten S3‑Objektspeicher-Bucket in der Akamai Cloud hochzuladen.
[04:12–05:16] Phase 3: Konfiguration der Anwendungsplattform: Abruf der anfänglichen Admin-Anmeldedaten aus Cluster-Geheimnissen über kubectl, Anmeldung bei der Akamai-Weboberfläche, Einrichtung des API‑Tokens für den internen Objektspeicher und Installation der Harbor-Anwendung zum Hosten von Container-Images.
[05:16–05:39] Verwaltung von Geheimnissen und Netzwerkrichtlinien: Wechsel zur Teamansicht, Verbinden eines GitHub-Repositorys, Erstellen des Container-Images, Einrichten von vier Sealed Secrets (OpenAI-API‑Schlüssel, Datenbankverbindungs-Zeichenfolgen, S3‑Speicheranmeldedaten und Admin-Schlüssel) und Definieren von Outbound-Netzwerkrichtlinien.
[05:39–06:16] Bereitstellen von Workloads und Erstellen von Services: Konfiguration der Bereitstellungsworkload des Helm-Diagramms (rag‑chatbot) mit Umgebungsvariablen und S3‑Bucket-Namen sowie Erstellung eines Service, um die Workload an Port 80 verfügbar zu machen.
[06:16–07:20] Phase 4: Initialisierung und Validierung: Testen des Integritätsendpoints über curl, Initialisieren der Postgres-Datenbanktabellen und der pgvector-Erweiterung über eine Admin-Endpoint-Anfrage, Auslösen des Hintergrundjobs für die Dokumentindizierung sowie Interaktion mit der Livechat-Oberfläche zur Abfrage von Flugverzögerungsrichtlinien von Delta Airlines.
[07:20–08:50] Architekturengpässe und künftige Upgrades: Analyse der Abhängigkeit von externen LLM‑APIs (OpenAI) im Vergleich zu selbstgehosteten Open‑Source-Modellen (wie Llama oder Mistral) auf GPU‑basierten Knoten innerhalb der Akamai Cloud, um Latenz, Kontrolle und Datenhoheit zu verbessern.
[08:50–09:36] Fazit: Abschließende Bemerkungen und Einladung zu „Learn AI with Lena Hall“ und „Droid AI“.
[09:36–11:40] Vorstellung von Beratungsservices: Überblick über individuelle Beratungen, persönliche technische Anleitung, KI‑Integrationsprüfungen und Coaching-Optionen für Führungskräfte über Droid AI.