Le performance dell'intelligenza artificiale in tempo reale dipendono dal throughput, dalla latenza e dalla posizione in cui viene eseguito l'inferencing. Basato su 96 GB di memoria ECC GDDR7 e 1597 GB/s di larghezza di banda della memoria, RTX PRO 6000 Blackwell sull'Akamai Cloud offre la velocità necessaria per modelli di ragionamento complessi.
Performance progettate per la domanda di intelligenza artificiale in fase di produzione
- Velocità di inferencing fino a 1,63 volte superiore rispetto ai dispositivi H100
- Supporta fino a 24.240 token al secondo per server
- Miglioramento del throughput di 1,32 volte passando da FP8 a FP4
- Supporta una domanda simile a quella della produzione con 100 richieste di inferencing simultanee
- Esegue l'agentic AI, le app multimodali, l'AI di visione e i carichi di lavoro multimediali
Prenota la capacità
Contatta Akamai per discutere di capacità della GPU, obiettivi di performance, adattamento del carico di lavoro e requisiti regionali.
Come funziona
I problemi di performance si verificano quando il traffico di produzione aumenta
Un nuovo studio conferma ciò che la maggior parte dei team che si occupano di intelligenza artificiale già avverte: la latenza dei carichi di lavoro durante i picchi di traffico è la sfida principale della scalabilità dell'inferencing in fase di produzione. L'Akamai Cloud ti consente di stare al passo su questo aspetto, mantenendo l'inferencing più vicino agli utenti per offrire experience più veloci e coerenti nei momenti più importanti.
Punti a favore delle performance
| Esigenze dei clienti | Benchmark dell'Akamai Cloud | Risultati aziendali |
|---|---|---|
| Scala l'inferencing sotto carico | Throughput fino a 1,63 volte superiore rispetto ai dispositivi H100 con 100 richieste simultanee | Gestisci più richieste dell'intelligenza artificiale senza dover impostare un numero maggiore di GPU a costi più elevati |
| Genera risposte più velocemente | Fino a 24.240 TPS per server | Migliora la velocità di risposta per l'intelligenza artificiale con un volume elevato di richieste |
| Mantieni bassa la latenza con richieste simultanee | TTFT a 94,45 ms con 100 richieste simultanee | Offri una risposta più rapida al primo token per experience dell'intelligenza artificiale in tempo reale |
| Migliora l'efficienza dell'inferencing | Aumento del throughput di 1,32 volte nel passaggio da FP8 a FP4 | Ottimizza i risultati della stessa architettura della GPU |
| Supporta la domanda di produzione | Il benchmark ha utilizzato 100 esecuzioni simultanee con 200 token di input e 200 di output | Verifica le performance con carichi di lavoro realistici a breve termine |
Progettato per i carichi di lavoro dell'intelligenza artificiale in cui le performance sono il risultato
L'Akamai Cloud aiuta i team ad eseguire i carichi di lavoro dell'intelligenza artificiale sensibili alle performance più vicini a utenti, dispositivi e fonti di dati.