エッジで高速化されたLLMチャットボットを構築

インフラディレクトリに移動し、Terraformを初期化します。

cd infrastructure
terraform init

Akamai Cloudの個人アクセストークンを設定します。

export LINODE_TOKEN="your-pat-here"

インフラをプロビジョニングします。

terraform apply

Terraformは専用のGPUインスタンスを作成し、cloud-initを使用して次のことを行います。

• 必要なGPUドライバーをインストールする
• Ollamaをインストールする
• 設定済みのオープン・ソース・モデルを取得する
• ポート11434でOllama APIを公開する
• モデルが利用可能になるまで待つ

プロビジョニングが完了すると、TerraformはOllamaエンドポイントを返します。

ollama_endpoint = "http://<linode-ip>:11434"

通常、プロビジョニングとモデルの読み込みには数分かかります。

アプリケーションを起動し、必要な変数を渡します。

spin up --build \
--variable ollama_url="http://<linode-ip>:11434" \
--variable secret_sauce="<strong-random-secret>"

ブラウザーでローカルアプリケーションを開き、テストメッセージを送信します。

次のことを確認します。

• チャットボットは、モデルが生成した回答を返す。
• セッション中に会話履歴が保持される。
• 繰り返される質問にキャッシュから回答することができる。
• ガードレールに違反するリクエストは拒否される。
• ブラウザーは会話履歴全体を操作または送信できない。

ローカル開発時にリモートのOllamaバックエンドを使用することで、ローカルGPUを必要とすることなくモデルのふるまいをテストすることができます。

展開する前に、お使いのアカウントでAkamai Functionsへのアクセスが有効化されていることを確認してください。まだ承認されていない場合は、アクセス権をリクエストし、リクエストの審査中はローカルでの構築を進めてください。

Akamai Functionsで認証します。

spin aka login

アプリケーションを構築し、展開します。

spin aka deploy --build \
--variable ollama_url="http://<linode-ip>:11434" \
--variable secret_sauce="<strong-random-secret>"

展開後、生成されたアプリケーションURLを開き、新しい質問を送信します。

展開されたアプリケーションは、Akamai FunctionsからフロントエンドとAPIを提供します。アプリケーションがキーバリューストアを確認したりGPU推論バックエンドにコンタクトしたりする前に、リクエストはエッジで検証されます。

新しい質問と繰り返される質問の両方でアプリケーションをテストします。

新しい質問に対して、アプリケーションは次のことを行います。

1. 受信したメッセージを検証する。
2. 入力とトピックのガードレールを適用する。
3. セッション履歴を読み込む。
4. 応答のキャッシュを確認する。
5. キャッシュされた応答が存在しない場合、Ollamaにリクエストを送信する。
6. 今後のリクエストに備えて回答を保存する。
7. セッション履歴を更新する。

同じ質問が繰り返された場合、アプリケーションは新たなGPU推論サイクルを実行することなく、キャッシュされた応答をエッジから直接返すことができます。

テストが完了したら、不要になったインフラを削除します。

cd infrastructure
terraform destroy

専用GPUリソースは、削除されるまで課金され続けます。