[00:00~00:45] RAG 어시스턴트 소개 : 레나 홀(Lena Hall)은 증거 기반 질의응답 기능을 갖춘 RAG(Retrieval Augmented Generation) 챗봇을 구축 및 배포하는 방법을 소개합니다. 비행기 지연으로 공항에 발이 묶였던 자신의 경험을 이야기하며, 봇이 복잡한 계약 정책을 어떻게 파싱할 수 있는지 설명합니다.
[00:45~01:24] 시스템 아키텍처 개요: 시스템의 아키텍처 다이어그램을 설명합니다. 여기에는 Linode 쿠버네티스 Engine, FastAPI 애플리케이션 컨테이너, LangChain/LangGraph 오케스트레이션, Postgres 데이터베이스(pgvector 및 대화 상태), Linode Object Storage, OpenAI API 통합을 포함하고 있습니다.
[01:24~02:29] 기술 스택 선택 이유: 이 프로덕션 빌드에서 특정 툴을 선택한 이유에 대해 논의합니다. 대화 상태 관리를 위해 Python과 함께 LangChain 및 LangGraph를 사용했으며, 고가의 전용 벡터 데이터베이스를 지양하고자 Postgres 기반의 pgvector를 도입했고, S3 호환 오브젝트 스토리지를 갖춘 Akamai Cloud 기반 Linode 쿠버네티스 Engine(LKE)을 활용했습니다.
[02:29~02:54] 1단계: IaC(Infrastructure as Code)(Terraform): Terraform을 활용해 인프라를 구축해 쿠버네티스 클러스터, S3 오브젝트 스토리지 버킷, 두 개의 Postgre 데이터베이스(벡터용으로 1개, 채팅 기록용으로 1개)를 생성합니다.
[02:54~03:07] Linode API 키 생성: Akamai Cloud 콘솔에 로그인해 데이터베이스, Linode, 쿠버네티스, 오브젝트 스토리지에 대한 읽기/쓰기 권한을 가진 Linode 개인 접속 토큰을 생성하는 방법을 단계별로 설명합니다.
[03:07~03:48] Terraform 명령어 실행: terraform/ 디렉토리로 이동한 후, terraform.tfvars.example을 terraform.tfvars로 복사하고, API 키를 입력합니다. 그 다음 terraform init, terraform plan, terraform apply를 차례로 실행하고, terraform 아웃풋 .json을 terraform.output.json에 저장합니다.
[03:48~04:12] 2단계: 수집: Terraform 아웃풋에서 추출한 인증정보를 적용해 s3cmd sync를 사용해 로컬에 있는 정책 PDF 문서를 Akamai Cloud에서 새로 생성된 S3 오브젝트 스토리지 버킷에 업로드합니다.
[04:12~05:16] 3단계: 앱 플랫폼 설정: kubectl을 사용해 클러스터 비밀로부터 초기 관리자 인증정보를 가져오고, Akamai 웹 인터페이스에 로그인한 후, 내부 오브젝트 스토리지를 위한 API 토큰을 설정하고, 컨테이너 이미지를 호스팅하기 위해 Harbor 애플리케이션을 설치합니다.
[05:16~05:39] 비밀 및 네트워크 정책 관리: 팀 뷰로 전환하고, GitHub 리포지토리를 연결하며, 컨테이너 이미지를 빌드하고, OpenAI API 키, 데이터베이스 연결 문자열, S3 스토리지 인증정보, 관리자 키 등 4개의 Sealed Secret을 설정한 후, 아웃바운드 네트워크 정책을 정의합니다.
[05:39~06:16] 워크로드 배포 및 서비스 구현: 환경 변수와 S3 버킷 이름을 사용해 Helm 차트 배포 워크로드(rag-chatbot)를 설정한 후, 포트 80에서 해당 워크로드를 노출하는 서비스를 구현합니다.
[06:16~07:20] 4단계: 초기화 및 검증: curl을 사용해 상태 엔드포인트를 테스트하고, 관리자 엔드포인트 요청을 통해 Postgre 데이터베이스 테이블과 pgvector 확장 프로그램을 초기화하며, 문서 인덱싱 백그라운드 작업을 트리거하고, 라이브 채팅 인터페이스에서 Delta Airlines의 항공편 지연 정책을 문의합니다.
[07:20~08:50] 아키텍처 병목 현상과 향후 업그레이드: Akamai Cloud 내 GPU 기반 노드에서 외부 LLM API(OpenAI)를 사용하는 경우와 오픈 소스 모델(Llama 또는 Mistral)을 자체 호스팅하는 경우를 지연 시간, 제어 기능, 데이터 주권 측면에서 비교 분석합니다.
[08:50~09:36] 결론: 끝맺음 말을 전하며 “레나 홀과 함께하는 AI 학습”과 “Droid AI”에 초대합니다.
[09:36~11:40] 상담 서비스 홍보: Droid AI에서 제공되는 개별 상담, 1:1 기술 가이드, AI 통합 감사, 비즈니스 리더 코칭 옵션을 간략히 살펴봅니다.