L'AI inferencing si verifica quando un modello addestrato elabora dati in tempo reale per generare un output. Man mano che le aziende passano dall'utilizzo di copiloti di base all'implementazione di sistemi AI-native, l'inferencing richiede una latenza molto inferiore e una maggiore affidabilità.
Vantaggi principali
-
Questa infografica si basa sui dati del rapporto sullo stato dell'inferencing avanzato di Akamai, che ha intervistato oltre 200 ingegneri e architetti AI.
-
Il passaggio a un'infrastruttura AI-native richiede al 61% dei team di raggiungere tempi di risposta inferiori ai 100 ms.
-
I team si spostano verso l'inferencing distribuito nel cloud per avvicinare i carichi di lavoro a utenti e dati.
-
I carichi di lavoro stanno passando dall'automazione dei dipendenti alla protezione dalle frodi e della fiducia dei clienti.
Domande frequenti (FAQ)
Domande frequenti (FAQ)
L'inferencing centralizzato indirizza tutte le richieste degli utenti a un singolo data center distante, causando ritardi. L'inferencing distribuito sul cloud distribuisce modelli di AI su server più piccoli situati più vicino a utenti e dati.
Si tratta di tecniche automatizzate di gestione della rete. Lo screening analizza il traffico dell'AI in entrata per scopi di sicurezza, mentre il controllo del traffico indirizza automaticamente le richieste degli utenti al server cloud più efficiente per garantire la risposta dell'AI più rapida possibile.