[00:00–00:21] 데이터 종속성의 숨겨진 비용: 스왑닐 바르티야(Swapnil Bhartiya)는 AI를 프로덕션으로 전환할 때 예상치 못한 이그레스 비용이 발생하는 문제에 대해 이야기합니다. 그는 중앙 집중화된 추론 비용 중 데이터 이동에 따른 비용이 얼마나 되는지, 기억에서 미리 이러한 비용을 어떻게 계획할 수 있는지에 대해 의문을 제기합니다.
[00:22–01:07] 전체 AI 비용 모델링: 아리 웨일(Ari Weil)은 향후 12~36개월을 내다볼 때, 성과를 거두는 기업은 하이퍼스케일러가 내세우는 개별 항목에 의존하는 대신 전체 비용을 모델링할 것이라고 말합니다. 그리고 이를 위해서는 사용자 확보, 동시성과 같은 확장 변수를 이해하고 지적 재산과 외부 학습 데이터가 각각 정확히 어디에 있는지 파악해야 한다고 설명합니다.
[01:08–01:40] 내부 인프라 vs. 클라우드 인프라 평가: 웨일은 팀이 클라우드 공급업체를 이용하는 대신, 임대 공간이나 프라이빗 데이터 센터와 같은 자체 환경에서 데이터를 관리하는 데 드는 비용을 계산하는 것이 첫 번째 단계라고 제안합니다. 이 프로세스를 통해 팀이 데이터 경계와 가용 영역을 파악하고, 다양한 인프라 유형에 걸쳐 배포할 때 발생하는 재정적 영향을 분석하는 데 도움을 줍니다.
[01:41–02:24] 클라우드 이그레스 시 발생하는 비용 장벽: 웨일은 데이터 내보내기나 클라우드 파트너십 종료 시 발생하는 높은 비용에 대해 설명하며, GB당 9~12센트의 요금은 데이터를 하이퍼스케일러 플랫폼 내에 묶어두기 위해 의도적으로 책정된 것이라고 지적합니다. 그는 일부 벤더사가 일회성 데이터 다운로드 비용 면제 혜택을 제공하지만, 해당 기업이 해당 공급업체의 클라우드 서비스를 완전히 탈퇴할 의사가 있어야 한다고 덧붙였습니다.
[02:25–03:15] 중립적 아키텍처로의 전환: 대화는 기업이 데이터를 한 곳에 저장하고 여러 위치에 걸쳐 동기화하며, 가장 논리적으로 적합한 위치에서 제공할 수 있도록 해주는 중립적 아키텍처로 이어집니다. 웨일은 코어에서 엣지까지 통합된 아키텍처가 처음에는 비용이 많이 드는 것처럼 보일 수 있지만, 지리적 경계를 넘어 마이크로서비스 간에 데이터를 이동할 때 발생하는 비용을 없애면 비용 측면에서 이점이 생긴다고 설명합니다.
[03:16–03:48] 워크로드 배치 결정: 아키텍처 전략을 최종 확정하기 위해, 웨일은 기업이 추론이 정확히 어디에서 실행되는지, 학습 및 미세 조정이 얼마나 자주 이루어지는지 그리고 나머지 애플리케이션 활동이 어디에서 이루어지는지를 명확히 파악해야 한다고 설명합니다. 이 운영 정보를 사용자 수 증가 모델링과 결합하면, 팀은 애플리케이션의 어떤 부분을 중앙 집중화하고 어떤 부분을 분산해야 할지 정확하게 결정할 수 있습니다.