跳转到主要内容
Background

使用您自己的数据构建 RAG 应用程序

带时间戳的摘要

带时间戳的摘要

[00:00–00:45] RAG 助手简介:Lena Hall 介绍如何构建和部署检索增强生成 (RAG) 聊天机器人,使其能够基于证据回答问题。她分享了自己因航班延误而滞留机场的经历,并以此说明聊天机器人如何解析复杂的合同政策。

[00:45–01:24] 系统架构概述:解释系统架构图,包括 Linode Kubernetes Engine、FastAPI 应用容器、LangChain/LangGraph 编排框架、Postgres 数据库(pgvector 和对话状态)、Linode Object Storage,以及 OpenAI API 集成。

[01:24–02:29] 技术堆栈选型说明:讨论本项目在生产环境中选择特定工具的原因,包括使用 Python,结合 LangChain 和 LangGraph 来管理对话状态,在 Postgres 上使用 pgvector,以避免使用成本高昂的专用向量数据库,以及在 Akamai Cloud 上使用 Linode Kubernetes Engine (LKE) 和兼容 S3 的对象存储。

[02:29–02:54] 第 1 阶段:基础架构即代码 (Terraform):使用 Terraform 设置基础架构,创建 Kubernetes 集群、S3 对象存储桶,以及两个 Postgres 数据库(分别用于存储向量和聊天历史)。

[02:54–03:07] 生成 Linode API 密钥:逐步解析如何登录 Akamai Cloud 控制台,创建 Linode 个人访问令牌,并为 Databases、Linodes、Kubernetes 和 Object Storage 配置读写权限。

[03:07–03:48] 执行 Terraform 命令:进入 terraform/ 目录,将 terraform.tfvars.example 复制到 terraform.tfvars,填入 API 密钥,然后依次运行 terraform init、terraform plan 和 terraform apply。最后,将 terraform output .json 保存到 terraform.output.json中。

[03:48–04:12] 第 2 阶段:导入:使用从 Terraform 输出中获取的凭据,运行 s3cmd sync 命令,将本地的政策 PDF 文档上传到 Akamai Cloud 中新建的 S3 对象存储桶。

[04:12–05:16] 第 3 阶段:配置 App Platform:使用 kubectl 从集群的密钥中获取初始管理员凭据,登录 Akamai Web 界面,设置用于内部对象存储的 API,并安装 Harbor 应用程序以托管容器镜像。

[05:16–05:39] 管理密钥和网络策略:切换到团队视图,连接 GitHub 存储库,构建容器镜像,设置四个 Sealed Secret(OpenAI API 密钥、数据库连接字符串、S3 存储凭据和管理员密钥),并定义出站网络策略。

[05:39–06:16] 部署工作负载并创建服务:配置 Helm 图表部署工作负载 (rag-chatbot),设置环境变量和 S3 存储桶名称,然后创建一个服务,在 80 端口上开放该工作负载。

[06:16–07:20] 第 4 阶段:初始化和验证:使用 curl 测试运行状况端点,通过调用管理员端点初始化 Postgres 数据库表并启用 pgvector 扩展,触发后台文档索引任务,最后通过在线聊天界面进行交互,查询达美航空关于航班延误的相关政策。

[07:20–08:50] 架构瓶颈和未来升级:分析使用外部 LLM API (OpenAI) 与在 Akamai Cloud 的 GPU 节点上自行托管开源模型(如 Llama 或 Mistral)这两种方案的差异,探讨后者在降低延迟、增强控制能力和保障数据主权方面的优势。

[08:50–09:36] 结论:总结发言,并邀请观众关注“Learn AI with Lena Hall”和“Droid AI”。

[09:36–11:40] 咨询服务宣传:概述 Droid AI 提供的各项服务,包括个性化咨询、一对一技术指导、AI 集成审计,以及面向企业管理者的辅导服务。

分享