AI 추론이란 학습된 모델이 실시간 데이터를 처리해 아웃풋을 도출하는 과정을 말합니다. 기업이 기본적인 코파일럿을 사용하는 단계에서 AI 네이티브 시스템을 배포하는 단계로 성숙해질수록, 추론 작업에는 훨씬 더 낮은 지연 시간과 높은 신뢰성이 요구됩니다.
핵심 내용
-
이 인포그래픽은 200명 이상의 AI 엔지니어 및 아키텍트를 대상으로 설문조사를 실시한 Akamai의 AI 추론 현황 보고서 데이터를 기반으로 합니다.
-
AI 네이티브 인프라로 전환하려면 61%의 기업이 100밀리초 미만의 응답 시간을 달성해야 합니다.
-
기업들은 사용자와 데이터에 더 가까운 위치에 워크로드를 배치하기 위해 분산 클라우드 추론 방식으로 전환하고 있습니다.
-
워크로드는 직원 자동화를 넘어 고객 신뢰와 사기 방지 분야로까지 확대되고 있습니다.
자주 묻는 질문(FAQ)
자주 묻는 질문(FAQ)
중앙 집중식 추론에서는 모든 사용자 요청을 원격 데이터 센터 한 곳으로 집중시켜 처리하기 때문에 지연이 발생합니다. 분산 클라우드 추론에서는 AI 모델을 사용자와 데이터에 더 가까운 소형 서버에 분산해 배치합니다.
자동화된 네트워크 관리 기술입니다. 스크리닝은 보안 강화를 위해 유입되는 AI 트래픽을 분석하고, 스티어링은 최대한 빠른 AI 응답을 보장하기 위해 사용자 요청을 가장 효율적인 클라우드 서버로 자동 라우팅합니다.