* プロモーションの引き換えに関する規則と条件をご覧ください
タイムスタンプ付きの要約
タイムスタンプ付きの要約
[00:00-00:45] RAGアシスタントの概要:エビデンスベースのQ&A機能を備えた検索拡張生成(RAG)チャットボットの構築と展開について、Lena Hallが説明します。フライトの遅延で空港に足止めされたエピソードを語り、複雑な契約ポリシーをボットがどのように解析できるかを解説します。
[00:45–01:24] システムアーキテクチャの概要:システムのアーキテクチャ図について説明します。これには、Linode Kubernetes Engine、FastAPIアプリケーションコンテナ、LangChain/LangGraphオーケストレーション、Postgresデータベース(pgvectorおよび会話状態)、Linode Object Storage、OpenAI APIの統合が含まれます。
[01:24–02:29] テクノロジースタックの選定理由:この本番環境構築向けに特定のツールが選ばれた理由を説明します。会話状態にはPython、LangChain、LangGraphが採用され、高コストの専用ベクトルデータベースを避けるためにPostgresにpgvectorが導入されました。また、Akamai Cloud上のLinode Kubernetes Engine(LKE)とS3対応のオブジェクトストレージが使用されています。
[02:29–02:54] フェーズ1:Infrastructure as Code(Terraform):Terraformを使用してインフラをセットアップし、Kubernetesクラスター、S3オブジェクトストレージ・バケット、および2つのPostgresデータベース(ベクトル用とチャット履歴用)を作成します。
[02:54–03:07] Linode APIキーの生成:Akamai Cloudコンソールにログインし、データベース、Linode、Kubernetes、Object Storageに対する読み取り/書き込み権限を持つLinodeの個人アクセストークンを作成する手順を説明します。
[03:07–03:48] Terraformコマンドの実行:terraform/ディレクトリに移動して、terraform.tfvars.exampleをterraform.tfvarsにコピーし、APIキーを挿入し、terraform init、terraform plan、およびterraform applyを実行した後、terraform output.jsonをterraform.output.jsonに保存します。
[03:48–04:12] フェーズ2:インジェスト:Terraformの出力から取得した認証情報を使用してs3cmd syncを実行し、ローカルのポリシードキュメント(PDF)をAkamai Cloud内に新たに作成されたS3オブジェクトストレージ・バケットにアップロードします。
[04:12–05:16] フェーズ3:アプリプラットフォームの設定:kubectlを使用してクラスターのシークレットから初期管理者認証情報を取得し、Akamai Webインターフェースにログインし、内部オブジェクトストレージ用のAPIトークンをセットアップして、コンテナイメージをホストするためのHarborアプリケーションをインストールします。
[05:16–05:39] シークレットとネットワークポリシーの管理:チームビューへの切り替え、GitHubリポジトリへの接続、コンテナイメージの構築、4つのシークレット(OpenAI APIキー、データベース接続文字列、S3ストレージ認証情報、管理者キー)のセットアップ、アウトバウンド・ネットワーク・ポリシーの定義を行います。
[05:39–06:16] ワークロードの展開とサービスの作成:環境変数とS3バケット名を使用して、Helmチャートの展開ワークロード(rag-chatbot)を設定し、ポート80でそのワークロードを公開するサービスを作成します。
[06:16–07:20] フェーズ4:初期化と検証:curlを使用してヘルスエンドポイントをテストし、管理エンドポイントリクエストによってPostgresデータベースのテーブルとpgvector拡張機能を初期化します。さらに、ドキュメントインデックス作成のバックグラウンドジョブをトリガーし、ライブ・チャット・インターフェースを通じてデルタ航空のフライト遅延に関するポリシーを問い合わせます。
[07:20–08:50] アーキテクチャ上のボトルネックと今後のアップグレード:外部のLLM API(OpenAI)を利用する場合と比較し、Akamai Cloud内のGPUベースのノードでオープン・ソース・モデル(LlamaやMistralなど)をセルフホスティングする場合ではレイテンシー、制御、データ主権が改善されることについて説明します。
[08:50–09:36] 最後に:締めくくりの一言を述べ、「Learn AI with Lena Hall」や「Droid AI」も視聴してほしいと視聴者に呼びかけます。
[09:36–11:40] コンサルティングサービスのご案内:Droid AIが提供する個別コンサルティング、1対1の技術指導、AI統合の監査、ビジネスリーダー向けのコーチングオプションの概要を説明します。