엣지 기반 LLM 챗봇 구축

infrastructure 디렉토리로 이동한 후 Terraform 초기화:

cd infrastructure
terraform init

Akamai Cloud 개인 접속 토큰 설정:

export LINODE_TOKEN="your-pat-here"

인프라 프로비저닝:

terraform apply

Terraform에서 전용 GPU 인스턴스를 생성하고 cloud-init을 사용해 다음 작업을 수행합니다.

• 필요한 GPU 드라이버 설치
• Ollama 설치
• 설정된 오픈 소스 모델 가져오기
• 포트 11434에서 Ollama API 공개
• 모델이 사용 가능해질 때까지 대기

프로비저닝이 완료되면 Terraform에서 다음과 같이 Ollama 엔드포인트를 반환합니다.

ollama_endpoint = "http://<linode-ip>:11434"

프로비저닝 및 모델 로딩에는 일반적으로 몇 분 정도가 소요됩니다.

애플리케이션을 실행한 후 필요한 변수 전달:

spin up --build \
--variable ollama_url="http://<linode-ip>:11434" \
--variable secret_sauce="<strong-random-secret>"

브라우저에서 로컬 애플리케이션을 열고 테스트 메시지를 전송합니다.

다음과 같은 사항을 확인합니다.

• 챗봇이 모델이 생성한 답변을 제공합니다.
• 세션이 유지되는 동안 대화 기록이 저장됩니다.
• 반복된 질문을 캐시에서 다시 가져올 수 있습니다.
• 가드레일을 위반하는 요청이 거부됩니다.
• 브라우저가 전체 대화 기록을 제어하거나 전송하지 않습니다.

로컬 개발 시 원격 Ollama 백엔드를 사용하면 로컬 GPU 없이도 모델의 동작을 테스트할 수 있습니다.

배포 전에 해당 계정에 Akamai Functions 접속 권한이 활성화되어 있는지 확인합니다. 아직 승인을 받지 못했다면 접속 권한을 요청하고 요청이 검토되는 동안 로컬 구축을 계속합니다.

Akamai Functions를 통해 인증:

spin aka login

애플리케이션 구축 및 배포:

spin aka deploy --build \
--variable ollama_url="http://<linode-ip>:11434" \
--variable secret_sauce="<strong-random-secret>"

배포 후 생성된 애플리케이션 URL을 열고 새 질문을 제출하세요.

배포된 애플리케이션은 Akamai Functions를 통해 프론트엔드와 API를 제공합니다. 요청은 애플리케이션이 키-값 저장소를 확인하거나 GPU 추론 백엔드와 통신하기 전에 엣지에서 먼저 검증됩니다.

새로운 질문과 반복된 질문 모두를 사용해 애플리케이션을 테스트합니다.

새로운 질문의 경우 애플리케이션에서 다음을 수행합니다.

1. 들어오는 메시지를 검증합니다.
2. 인풋 및 주제 가드레일을 적용합니다.
3. 세션 기록을 로딩합니다.
4. 응답 캐시를 확인합니다.
5. 캐시된 응답이 없을 경우 해당 요청을 Ollama로 전송합니다.
6. 향후 요청 시 답변을 저장합니다.
7. 세션 기록을 업데이트합니다.

동일한 질문이 반복될 경우, 애플리케이션은 추가적인 GPU 추론 과정 없이 엣지에서 캐시된 응답을 바로 반환할 수 있습니다.

테스트 완료 시 더 이상 필요하지 않은 인프라 제거:

cd infrastructure
terraform destroy

전용 GPU 리소스는 삭제될 때까지 지속적으로 요금을 부과합니다.