실시간 AI 성능은 처리량, 지연 시간, 그리고 추론이 실행되는 위치에 따라 달라집니다. 96GB GDDR7 ECC 메모리와 1597GB/s의 메모리 대역폭을 갖춘 Akamai Cloud의 RTX PRO 6000 Blackwell은 복잡한 추론 모델에 필요한 성능을 제공합니다.
프로덕션 AI 수요를 위한 성능
- H100 대비 최대 1.63배 높은 추론 처리량 제공
- 서버당 초당 최대 24,240개의 토큰 처리 지원
- FP8에서 FP4로 전환 시 최대 1.32배 높은 처리량 제공
- 동시 추론 요청 100건으로 프로덕션 환경과 유사한 수요 지원
- 에이전틱 AI, 멀티모달 애플리케이션, 비전 AI 및 미디어 워크로드 실행
용량 확보
GPU 용량, 성능 목표, 워크로드 적합성 및 지역별 요구사항에 대해 Akamai와 상담하세요.
작동 방식
프로덕션 트래픽이 유입되면 성능 문제가 드러납니다
새로운 연구결과에 따르면, 대부분의 AI팀이 이미 느끼고 있는 것처럼, 최대 로딩 시 지연 시간은 프로덕션 추론 환경을 확장할 때 가장 큰 도전 과제로 나타났습니다. Akamai Cloud는 사용자와 더 가까운 위치에서 추론을 실행해 가장 중요한 순간에도 더 빠르고 일관된 사용자 경험을 제공합니다.
성능 증명 포인트
| 고객의 요구사항 | Akamai Cloud 벤치마킹 | 비즈니스 성과 |
|---|---|---|
| 로딩이 높은 환경에서도 추론 성능 확장 | 동시 요청 100건 기준 H100 대비 최대 1.63배 높은 처리량 | 더 크고 비용이 높은 GPU로 전환하지 않고도 더 많은 AI 요청을 처리할 수 있습니다 |
| 더 빠른 응답 생성 | 서버당 초당 최대 24,240TPS | 대량의 AI 워크로드에서도 응답 속도를 개선합니다 |
| 동시 요청 환경에서도 낮은 지연 시간 유지 | 동시 요청 100건 기준 TTFT 94.45밀리초 | 실시간 AI 환경에서 첫 번째 토큰을 더 빠르게 응답합니다 |
| 추론 효율성 개선 | FP8에서 FP4로 전환 시 처리량 1.32배 개선 | 동일한 GPU 아키텍처에서 더 높은 아웃풋을 제공합니다 |
| 프로덕션 환경의 수요 지원 | 200개의 인풋 토큰과 200개의 아웃풋 토큰을 사용하는 동시 실행 100건 을 기준으로 벤치마크 수행 | 실제와 유사한 짧은 프롬프트-응답 워크로드를 기반으로 성능을 검증합니다. |
성능이 곧 경쟁력인 AI 워크로드를 위해 설계되었습니다
Akamai Cloud는 사용자, 디바이스 및 데이터 소스와 더 가까운 위치에서 성능에 민감한 AI 워크로드를 실행할 수 있도록 지원합니다.