El rendimiento de la IA en tiempo real depende del rendimiento, la latencia y la ubicación donde se ejecuta la inferencia. Con 96 GB de memoria GDDR7 ECC y 1597 GB/s de ancho de banda de memoria, la RTX PRO 6000 Blackwell en Akamai Cloud ofrece la velocidad necesaria para modelos de razonamiento complejos.
Rendimiento diseñado para las exigencias de la IA en producción
- Consiga un rendimiento de inferencia hasta 1,63 veces superior al de H100
- Utilice hasta 24 240 tokens por segundo y por servidor
- Mejore el rendimiento en 1,32 veces al pasar de FP8 a FP4
- Atienda una demanda similar a la de un entorno de producción con 100 solicitudes de inferencia concurrentes
- Ejecute IA agéntica, aplicaciones multimodales, IA de visión y cargas de trabajo multimedia
Reserve capacidad
Póngase en contacto con Akamai para analizar la capacidad de GPU, los objetivos de rendimiento, la adecuación de las cargas de trabajo y los requisitos regionales.
Cómo funciona
Los problemas de rendimiento aparecen cuando se produce tráfico de producción
Un nuevo estudio confirma lo que la mayoría de los equipos de IA ya sienten: la latencia de carga máxima es el principal desafío de escalabilidad en la inferencia de producción. La nube de Akamai le pone un paso por delante y le permite acercar la inferencia a sus usuarios para ofrecer experiencias más rápidas y coherentes cuando más se necesitan.
Puntos de prueba de rendimiento
| Necesidad del cliente | Puntos de referencia de Akamai Cloud | Resultados empresariales |
|---|---|---|
| Inferencia de escala bajo carga | Rendimiento hasta 1,63 veces superior al de H100 con 100 solicitudes simultáneas | Atiende más solicitudes de IA sin tener que recurrir a espacios de GPU más grandes y costosos |
| Respuestas más rápidas | Hasta 24 240 TPS por servidor | Mejora la velocidad de respuesta para la IA de alto volumen |
| Latencia baja con simultaneidad | TTFT de 94,45 ms con 100 solicitudes simultáneas | Ofrezca una respuesta más rápida en el primer token para experiencias de IA en tiempo real |
| Mejora de la eficiencia en las inferencias | Rendimiento un 1,32 mayor al pasar de FP8 a FP4 | Maximice los resultados de la misma arquitectura de GPU |
| Respaldo a la demanda de producción | El análisis de rendimiento utilizó 100 ejecuciones simultáneas con 200 tokens de entrada y 200 de salida | Valide el rendimiento frente a cargas de trabajo realistas y breves de respuesta rápida |
Diseño enfocado a las cargas de trabajo de IA en las que el rendimiento es el producto
Akamai Cloud ayuda a los equipos a ejecutar cargas de trabajo de IA sensibles al rendimiento más cerca de los usuarios, los dispositivos y las fuentes de datos.