Akamai의 새로운 리서치 보고서인 AI 추론 현황에서는 기업의 50%가 프로덕션 AI 배포 단계에서 대규모 확장 시 지연 시간을 유지하는 데 큰 어려움을 겪게 되는 인프라 격차에 대해 밝히고 있습니다. 해당 연구 결과, AI 추론이 비즈니스 핵심 사용 사례로 옮겨온 상황에서 중앙 집중식 클라우드 아키텍처는 기업의 효과적인 확장을 방해하는 지연 시간의 장벽을 만들었습니다. 보고서를 읽고 자세한 내용을 확인하시기 바랍니다.
- 지연 시간의 장벽에 대해 알아보기: 기업의 64%는 주요 사용 사례에서 250 밀리초 미만의 응답 시간을 필요로 하지만 중앙 집중식 시스템이 성능 병목 현상을 일으키는 주된 원인이 되고 있습니다.
- 근접성 요구사항 살펴보기: 60%의 실무자들이 최종 사용자와 더 가까운 위치에서 추론을 실행하는 것이 프로덕션의 성공에 중요하다는 점을 인식하고 있지만 46%가 단일 클라우드 지역에 묶여 있습니다.
- 확장 도전 과제 해결하기: 50%의 팀이 자동 트래픽 스티어링과 분산 컴퓨팅으로 전환할 수밖에 없는 가장 큰 확장 시 제약 조건으로, 수요 급증 시 지연 시간을 지목했습니다.
AI 실무자들이 직면한 인프라 도전 과제에 대한 자세한 내용을 보려면 보고서 전문을 다운로드하세요.