Les performances de l'IA en temps réel dépendent du débit, de la latence et de l'emplacement où s'exécute l'inférence. Doté de 96 Go de mémoire GDDR7 ECC et d'une bande passante mémoire de 1 597 Go/s, le RTX PRO 6000 Blackwell sur Akamai Cloud offre les performances requises pour les modèles de raisonnement complexes.
Des performances adaptées aux exigences de l'IA en production
- Obtenez un débit d'inférence jusqu'à 1,63 fois supérieur à celui du H100
- Prenez en charge jusqu'à 24 240 jetons par seconde et par serveur
- Augmentez le débit de 1,32 fois en passant de FP8 à FP4
- Répondez à des exigences proches des conditions de production avec 100 requêtes d'inférence simultanées
- Exécutez des applications d'IA agentique, multimodales, de vision par ordinateur et de traitement de médias
Réservez des capacités
Contactez Akamai pour discuter de vos besoins en capacités GPU, de vos objectifs de performance, de l'adéquation de vos charges de travail et de vos exigences régionales.
Fonctionnement
Les problèmes de performance se manifestent lorsque le trafic de production augmente
Une nouvelle étude confirme ce que la plupart des équipes travaillant avec l'IA constatent déjà : la latence lors des pics de charge constitue le principal défi en matière de montée en charge des déploiements d'inférence en production. Akamai Cloud vous permet de garder une longueur d'avance en exécutant l'inférence au plus près de vos utilisateurs, pour des expériences plus rapides et plus homogènes aux moments clés.
Résultats de référence en matière de performances
| Besoin client | Benchmark Akamai Cloud | Bénéfice pour l'activité |
|---|---|---|
| Adapter l'inférence aux pics de charge | Jusqu'à 1,63 fois plus de débit que le H100 avec 100 requêtes simultanées | Traitez davantage de requêtes d'IA sans devoir recourir à des configurations GPU plus importantes et plus coûteuses |
| Générer des réponses plus rapidement | Jusqu'à 24 240 jetons par seconde par serveur | Accélérez les temps de réponse pour les applications d'IA à grand volume |
| Maintenir une faible latence en cas de simultanéité élevée | Délai avant le premier jeton (TTFT) de 94,45 ms avec 100 requêtes simultanées | Réduisez le délai avant l'affichage du premier jeton pour les expériences d'IA en temps réel |
| Améliorer l'efficacité de l'inférence | Débit 1,32 fois supérieur en passant de FP8 à FP4 | Obtenez davantage de résultats avec la même architecture GPU |
| Répondre aux exigences de la production | Benchmark établi sur 100 exécutions simultanées avec 200 jetons en entrée et 200 jetons en sortie | Vérifiez les performances sur des charges de travail réalistes impliquant des réponses et des prompts courts. |
Conçu pour les charges de travail d'IA où la performance fait partie intégrante du produit
Akamai Cloud aide les équipes à exécuter des charges de travail d'IA sensibles aux performances au plus près des utilisateurs, des terminaux et des sources de données.