Akamai Inference Cloud는 사용자와 데이터에 더 가까운 곳에서 추론을 실행하도록 설계된 분산형 AI 인프라 플랫폼입니다.
핵심 내용:
AI 인프라는 중앙 집중식 AI 팩토리와 최종 사용자 간의 물리적 거리가 실시간 애플리케이션의 근본적인 병목 현상이 되는 중요한 변곡점에 도달했습니다. IDC Link에서 IDC의 데이브 맥카시(Dave McCarthy)는 Akamai가 지리적으로 분산된 클라우드에 지능적인 오케스트레이션 평면을 오버레이함으로써 이 문제를 어떻게 해결하고 있는지 살펴봅니다. 자세히 읽어봐야 하는 이유는 다음과 같습니다.
- Akamai Inference Cloud를 통해 파일럿 프로젝트에서 프로덕션급 인프라로 기업 AI를 전환하는 방법에 대해 알아볼 수 있습니다.
- 중앙 집중식 클라우드의 100밀리초 이상의 왕복 지연 및 높은 이그레스 비용과 같은 기존 하이퍼스케일 모델의 핵심적인 물리적, 경제적 병목 현상을 극복하는 방법을 파악할 수 있습니다.
- 최고의 성능을 위해 지연 시간이 매우 짧아야 하는 게임, 금융 서비스 및 라이브 미디어 분야에서 동시성이 높은 사용 사례를 구현할 수 있습니다.
자주 묻는 질문(FAQ)
Akamai는 4400개 이상의 엣지 위치에 NVIDIA BlueField-3® Data Processing Unit(DPU)과 상호 연결된 수천 개의 NVIDIA RTX PRO 6000™ Blackwell Server Edition GPU를 배포하고 있습니다. 지능형 오케스트레이션 레이어는 근접성, 비용 및 GPU 가용성을 기반으로 AI 요청을 최적의 컴퓨팅 계층으로 라우팅하는 신속한 브로커 역할을 합니다.
네트워크 엣지에 AI 추론을 배포함으로써 Akamai는 컴퓨팅 리소스와 최종 사용자 사이의 물리적 거리를 크게 단축했습니다. 이로써 게임, 금융 서비스 및 라이브 미디어와 같은 분야의 실시간 애플리케이션에 꼭 필요한 결정성과 초저지연 시간이 실현됩니다.