O desempenho da IA em tempo real depende da capacidade de processamento, da latência e do local onde a inferência é executada. A RTX PRO 6000 Blackwell, equipada com 96 GB de memória GDDR7 ECC e 1597 GB/s de largura de banda de memória na Akamai Cloud, oferece a velocidade necessária para modelos de raciocínio complexo.
Desempenho projetado para atender à demanda de produção com IA
- Obtenha um desempenho de inferência até 1,63 vez superior ao da H100
- Suporta até 24.240 tokens por segundo por servidor
- Aumente a produtividade em 1,32 vez ao migrar de FP8 para FP4
- Atenda à demanda de produção com 100 solicitações de inferência simultâneas
- Execute IA agêntica, aplicações multimodais, IA visual e workloads de mídia.
Reserva de capacidade
Entre em contato com a Akamai para falar sobre capacidade de GPU, metas de desempenho, adequação de workload e requisitos regionais.
Como funciona
Os problemas de desempenho surgem quando o tráfego de produção atinge seu pico
Um novo estudo confirma o que a maioria das equipes de IA já sabe: a latência em momentos de pico de carga é o maior desafio de escalabilidade na inferência em produção. A Akamai Cloud garante que você esteja sempre um passo à frente, processando a inferência mais perto dos seus usuários para oferecer experiências mais rápidas e consistentes nos momentos mais importantes.
Provas de desempenho
| Necessidade do cliente | Benchmark da Akamai Cloud | Resultado comercial |
|---|---|---|
| Dimensione a inferência sob carga | Até 1,63 vez mais desempenho do que a H100 ao processar 100 solicitações simultâneas | Atenda a mais solicitações de IA sem precisar recorrer a GPUs maiores e mais caras |
| Gere respostas mais rapidamente | Até 24.240 TPS por servidor | Aumente a velocidade de resposta da IA para grandes volumes de dados |
| Mantenha a latência baixa mesmo em situações de simultaneidade | 94,45 ms de TTFT com 100 solicitações simultâneas | Ofereça respostas mais rápidas com o primeiro token para experiências de IA em tempo real |
| Aumente a eficiência da inferência | Aumento de 1,32 vez no desempenho ao migrar de FP8 para FP4 | Obtenha mais desempenho da mesma arquitetura de GPU |
| Atenda à demanda de produção | O benchmark utilizou 100 execuções simultâneas com 200 tokens de entrada e 200 tokens de saída | Valide o desempenho em relação a workloads realistas de prompts e respostas curtas |
Para workloads de IA em que o desempenho é o produto
A Akamai Cloud ajuda as equipes a executar workloads de IA que exigem alto desempenho mais perto dos usuários, dispositivos e fontes de dados.