Passa al contenuto principale
Background

Perché il posizionamento delle GPU è importante

Scopri perché il posizionamento delle GPU influisce sulla latenza dell'intelligenza artificiale, sui costi di uscita, sull'affidabilità e sulle performance dei carichi di lavoro.

Riepilogo del video

Riepilogo del video

[00:00–00:15] Importanza del posizionamento delle GPU: il posizionamento delle GPU viene definito come un componente chiave nell'inferencing di produzione perché determina la posizione in cui vengono eseguiti i carichi di lavoro basati sull'AI, controllando, al contempo, la latenza, i costi di uscita e l'affidabilità delle applicazioni

[00:15–00:28] Domande sull'evoluzione dell'infrastruttura: una panoramica sul passaggio dal semplice accesso delle GPU alla scelta del computing giusto in base alla posizione per specifici carichi di lavoro

[00:28–00:44] Flessibilità e hardware performante: presentazione della flessibilità dell'Akamai Cloud nell'implementazione core e regionale, mettendo in evidenza le GPU NVIDIA RTX PRO 6000 Blackwell per il throughput dell'inferencing e il ragionamento complesso nel caso di un elevato numero di richieste simultanee.

[00:44–00:58] Esecuzione ottimale dei carichi di lavoro: il riepilogo finale pone l'accento sull'importante dell'esecuzione corretta dei carichi di lavoro rispetto all'acquisto di modelli più grandi o di costose allocazioni delle GPU

Condividi

Risorse aggiuntive

Benchmark relativi alle GPU NVIDIA RTX PRO 6000 Blackwell sull'Akamai Cloud

I benchmark dimostrano che il modello NVIDIA RTX PRO™ 6000 Blackwell eseguito sull'Akamai Cloud offre un throughput di inferencing fino a 1,63 volte superiore rispetto al modello H100.

GPU sull'Akamai Cloud

L'Akamai Cloud offre più opzioni di GPU con NVIDIA RTX PRO™ 6000 Blackwell Server Edition® e la linea Quadro® RTX.

Piattaforma di AI inferencing nel cloud per un'AI in tempo reale

Esegui l'AI inferencing più vicino agli utenti con cloud distribuito, elaborazione delle GPU e sicurezza integrata per agenti e applicazioni dell'AI in tempo reale.