AI 추론을 대규모로 실행하는 것은 더 이상 모델 크기에 국한되지 않습니다. 지금은 이 모델을 얼마나 효율적으로 실행할 수 있는지, 실제 데이터를 얼마나 빨리 처리할 수 있는지, 그리고 이를 위해 얼마나 많은 인프라가 필요한지를 질문해 봐야 합니다.
Harmonic은 Akamai Cloud의 NVIDIA RTX PRO™ 6000 Blackwell GPU에 대한 비공개 베타 테스트를 진행하는 동안, 30억 개의 매개변수 모델을 기반으로 구축된 까다로운 이미지 기반 AI 워크로드를 사용해 이러한 질문을 검증했습니다.
결과는 명확했습니다. Harmonic은 정확도 저하 없이 높은 성능과 효율적인 리소스 사용률을 달성하고 모델 최적화 기술을 적용할 수 있었습니다.
“비공개 베타 기간에 Akamai Cloud의 NVIDIA RTX PRO 6000 Blackwell GPU를 통해 AI 이미지 워크로드를 정확하고, 빠르고, 효율적으로 실행할 수 있었습니다. 성능에 맞게 모델을 최적화하고 매우 낮은 오탐률을 유지하는 동시에 대량의 이미지를 신속하게 처리할 수 있었습니다. 그 결과, 프로덕션 환경에서 이러한 워크로드를 확장할 수 있다는 확신을 가질 수 있었습니다.”
- 무어 맥컬리(Moore Macauley), Harmonic 비디오 비즈니스 CTO
실제 테스트: 정확성, 효율성, 속도
Harmonic의 워크로드는 인위적인 벤치마크가 아니었습니다. 탐지 품질이 중요한 프로덕션 수준의 이미지 처리 파이프라인이었습니다.
목표는 다음과 같이 간단했습니다.
- 3B 매개변수 모델로 매우 낮은 오탐률 유지
- GPU 사용 및 메모리 공간 최적화
- 대용량 이미지 배치 처리량 극대화
- 모델 양자화가 성능 및 정확도에 미치는 영향 평가
Harmonic은 낮은 메모리 공간, 높은 Tensor 사용, 기존 클라우드 GPU 인프라에서는 달성하기 어려운 대규모 처리 속도를 달성했습니다.
낮은 메모리 공간 및 높은 Tensor 사용
모델의 크기에도 불구하고 Harmonic은 다음과 같은 결과를 관찰했습니다.
- GPU 메모리 사용률 10% 미만
- 70%~80% 범위에서 지속적으로 Tensor 사용
이는 메모리 제약으로 인한 GPU 병목 현상이 발생하지 않았고, 워크로드가 Tensor 코어를 활용해 고처리량 추론을 수행할 수 있었다는 강력한 신호입니다. 실용적인 측면에서 Harmonic은 메모리 오버헤드를 수용하기 위해 인프라를 과도하게 프로비저닝할 필요 없이 정교한 모델을 실행할 수 있었습니다.
대규모 처리 속도
- 1분 이내에 300개의 이미지를 처리한 Harmonic
이러한 수준의 처리량은 Akamai Cloud의 Blackwell GPU가 대규모 실시간 또는 준실시간 AI 처리를 어떻게 지원할 수 있는지를 보여주므로, 저지연과 확장성이 성공의 핵심인 AI 기반 운영 시스템에 매우 적합합니다.
성능 저하 없는 양자화
Harmonic의 테스트 결과 중 가장 눈에 띄는 결과 중 하나는 모델 최적화였습니다.
Harmonic은 기존의 float16 정밀도와 비교해 4비트 정수 양자화를 평가한 결과, 테스트 워크로드에서 다음과 같은 사실을 관찰했습니다.
- 탐지 성능에 큰 손실 없음
- 메모리 효율성 소폭 개선
- 처리 속도 개선
양자화를 수행하면 효율성과 정확성 간의 상충이 발생한다고 간주되는 경우가 많기 때문에 이러한 결과는 중요합니다. Harmonic의 결과는 Blackwell GPU에서 최신 양자화 기법이 결과의 품질을 저하시키지 않으면서도 성능 특성을 개선할 수 있음을 보여줍니다.
이를 통해 팀은 다음과 같은 이점을 누릴 수 있습니다.
- 더 작은 공간에서 더 큰 모델 실행
- 인프라 비용 절감
- 결과물의 품질 저하 없이 처리량 증가
엣지와 클라우드의 AI 워크로드에 이것이 중요한 이유
Harmonic의 테스트에서는 다음과 같은 광범위한 패턴을 강조합니다. 최신 AI 워크로드에는 원시 컴퓨팅뿐만이 아닌 추론 효율성까지 고려해 구축된 인프라가 필요합니다. 이를 위해서는 다음과 같은 기능을 결합해야 합니다.
- 우수한 Tensor 성능
- 효율적인 메모리 사용
- 최신 모델 최적화 지원
- 빠른 대규모 처리
Akamai Cloud의 Blackwell GPU는 지속적으로 작동하며, 대량의 데이터를 처리하고, 높은 정확도를 유지해야 하는 AI 시스템의 기반을 제공합니다. 이러한 점은 특히 사용자, 디바이스 또는 데이터 소스에 더 가깝게 실행되는 AI 워크로드에 더욱 의미가 있습니다. 이러한 워크로드에는 성능, 효율성, 비용 모두가 중요하기 때문입니다.
비공개 베타에서 출발해 프로덕션에 확신을 얻기까지
Harmonic 입장에서 비공개 베타 테스트는 AI 이미지 처리 워크로드가 Akamai GPU 인프라에서 효율적이고 정확하며 고속으로 실행될 수 있는지 검증하는 기회였습니다.
그 결과, 이들은 다음과 같은 이점을 실현할 수 있다는 확신을 얻었습니다.
- 인프라의 선형적 확장 없이 추론 성능 향상
- 양자화를 사용해 모델을 적극적으로 최적화
- 높은 탐지 품질을 유지하면서 처리량 증가
바로 이것이 AI를 실험 단계에서 프로덕션 단계로 전환할 때 팀이 필요로 하는 특성입니다.
자세히 알아보기
AI 워크로드를 대규모로 효율적으로 실행하는 것이 비즈니스의 핵심이라면 Akamai Cloud의 NVIDIA Blackwell GPU가 차세대 추론을 어떻게 지원할 수 있는지 자세히 알아보세요.
태그
