[00:00–02:30] 사라지는 AI 경계: 스왑닐 바르티야(Swapnil Bhartiya)는 AI가 고립된 환경에서 벗어나 모든 애플리케이션과 업무 프로세스에 스며드는 변화에 대해 소개합니다. 대니엘 쿡(Danielle Cook)은 AI와 비AI 애플리케이션 간의 명확한 구분이 더 이상 존재하지 않는다고 설명합니다. 이제 앱은 AI를 포함하거나, API를 통해 AI와 연결되며, 데이터를 제공하거나 AI를 지원함으로써 모든 앱이 AI 생태계의 일부가 되고 있습니다.
[02:31–03:25] 가시성과 섀도 AI: 쿡은 기업이 AI 사용 현황을 파악할 수 있는 수준이 각기 다르다는 점을 얘기합니다. 규제 산업에서는 엄격한 통제를 유지할 수 있지만, 대부분의 기업은 워크플로 전반에서 승인되지 않은 섀도 AI가 광범위하게 사용되고 있다고 가정해야 하며, 이는 플랫폼 팀과 개발자에게 상당한 모니터링 과제가 됩니다.
[03:26–04:56] 실험 vs. 프로덕션 요구사항: AI를 프로덕션으로 전환하면 모델 성능에서 실제 사용자 처리, 지연 시간 요구사항, 지속적인 추론, 실제 비용으로 초점이 이동합니다. 쿡은 GPU가 아키텍처의 일부일 뿐이라고 강조합니다. 프로덕션에는 컴퓨팅, 스토리지, 네트워킹이 필수적이며, API 호출이나 데이터베이스와 같은 많은 보조 작업이 CPU에서 효율적으로 실행된다는 점도 고려해야 합니다.
[04:57–06:09] 인프라 전략 재고: 아키텍트들은 AI의 실시간 상호작용 특성과 지속적인 데이터 이동으로 인해 전체 인프라를 AI 관점에서 바라봐야 합니다. 이를 위해서는 모델 라우팅 및 시맨틱 캐싱과 같은 전략을 구현하여 대규모 환경에서도 비용 효율적이고 고품질의 고객 경험을 제공해야 합니다.
[06:09–08:01] 데이터 중력과 엣지 컴퓨팅: 패러다임은 데이터를 컴퓨팅으로 이동하는 방식에서 컴퓨팅을 데이터 쪽으로 이동시키는 방식으로 변화하고 있습니다. 데이터는 규모, 컴플라이언스 준수, 민감성 등의 이유로 이동이 가장 어려운 요소인 경우가 많기 때문에, 워크로드 배치와 이그레스 비용 예측은 중요한 아키텍처 결정 요소로 자리 잡고 있습니다.
[08:02–09:56] 단일 AI 요청의 복잡성: AI 애플리케이션에 대한 사용자의 단일 요청은 여러 모델, 벡터 데이터베이스, API를 포함한 수십 개의 분산된 백그라운드 요청을 트리거시킬 수 있습니다. 쿡은 이러한 시스템들이 항상 한 곳에 위치하지 않기 때문에, 반복적인 소규모 네트워크 지연 시간이 누적되어 GPU가 아닌 네트워크나 스토리지가 실제 병목 현상의 원인이 될 수 있다고 지적합니다.
[09:57–11:35] 분산 데이터 및 이그레스 비용 관리: 기업 데이터가 퍼블릭 클라우드, 프라이빗 인프라, 엣지 위치 등에 분산되어 있어, 규제 및 지리적 요인으로 인해 데이터 이동이 비용 부담이 크고 복잡한 작업이 되고 있습니다. 쿡은 매년 수십억 원에 이를 수 있는 예상치 못한 이그레스 비용을 피하기 위해, 사전에 데이터 전송 비용에 대한 아키텍처 설계가 필수적이라고 강조합니다.
[11:36–13:08] 처음부터 AI 아키텍처 설계하기: 오늘날 플랫폼을 구축하는 팀에게 쿡은 첫날부터 '이동 중인 데이터'를 위한 설계를 권장합니다. 즉, 이것은 분산 애플리케이션을 전제로 하며, 서비스 사용자에게 효율적으로 서비스를 제공하기 위해 워크로드를 유연하게 배치하고, 모델 및 인프라의 급속한 변화에 대응할 수 있는 기본적인 이동성을 보장하는 것을 의미합니다.
[13:09–14:23] 재설계의 시작점: 인프라를 재설계하는 팀은 먼저 가용 컴퓨팅 리소스를 평가하고, 실행할 모델을 결정하며, 데이터 소유권을 검토하고, 인프라를 직접 구축할지 또는 구매할지 결정하고, 토크노믹스를 분석해야 합니다.
[14:24–15:16] 작은 모델의 장점: 업계가 가장 큰 모델에 집중하는 동안, 쿡은 더 작은 모델이 때로는 더 나은 결과를 더 적은 비용으로 제공할 수 있다고 지적합니다. 특정 작업에서는 더 작은 모델을 CPU에 사용함으로써 적절한 작업 분배를 통해 비용을 절감하고 효율성을 향상할 수 있습니다.
[15:17–16:15] 엣지 컴퓨팅의 역할: 엣지 컴퓨팅은 컴퓨팅 리소스를 최종 사용자와 가까운 위치에 배치합니다. 이것은 고객이 원하는 경험을 제공하면서도 재정적 영향을 관리하기 위해 분산된 GPU 위치나 컨테이너화된 엣지 환경을 활용할 수 있음을 의미합니다.
[16:16–20:23] 과대 광고를 넘은 AI 전략 수립: 쿡은 AI에 대한 보편적인 성숙도 모델은 없다고 지적합니다. 기업은 각자의 구체적인 비즈니스 목표에 맞춰 AI 인프라를 선택해야 합니다. 외부 AI 서비스를 단순히 이용하는 것부터, 파인튜닝을 위해 사내 GPU를 운영하거나 모델을 처음부터 학습하는 방식, 서버리스 추론을 활용하는 방식까지 다양한 선택지가 있습니다.