[00:00–02:30] La dissoluzione del confine dell'AI: Swapnil Bhartiya presenta il passaggio dell'intelligenza artificiale da zone isolate all'intengrazione in ogni applicazione e workflow. Danielle Cook spiega come non esista più una chiara distinzione tra applicazioni basate sull'AI o meno. Le app ora includono l'intelligenza artificiale, si connettono ad essa tramite le API, forniscono dati o li supportano, rendendo ogni app un componente dell'ecosistema dell'AI.
[02:31-03:25] Visibilità e AI ombra: Cook discute dei diversi livelli di visibilità di cui dispongono le organizzazioni sull'utilizzo dell'intelligenza artificiale. Sebbene i settori regolamentati siano in grado di mantenere un controllo rigoroso, la maggior parte delle organizzazioni deve presupporre un utilizzo diffuso e non approvato dell'AI ombra nei workflow aziendali, il che crea notevoli problemi di monitoraggio per i team e gli sviluppatori di piattaforme.
[03:26–04:56] La domanda di sperimentazione rispetto alla produzione: il passaggio dell'intelligenza artificiale alla fase di produzione sposta l'attenzione dalla performance dei modelli alla gestione di utenti reali, requisiti di latenza, inferencing continuo e costi effettivi. Cook sottolinea come le GPU siano solo un componente dell'architettura. La produzione richiede anche computing, storage e networking, oltre a riconoscere che molte attività supplementari (come chiamate API e database) vengono eseguite in modo efficace sulle CPU.
[04:57–06:09] Ridefinire la strategia dell'infrastruttura: gli architetti devono vedere l'intera infrastruttura attraverso una lente basata sull'AI a causa della natura interattiva dello spostamento continuo dei dati e dell'AI in tempo reale. Ciò richiede l'implementazione di strategie come il routing dei modelli e il caching semantico per offrire customer experience eccellenti e convenienti su vasta scala.
[06:09–08:01] La gravità dei dati e l'edge computing: il paradigma sta cambiando spostando il computing verso i dati piuttosto che spostando i dati verso il computing. Poiché i dati sono spesso il componente meno mobile a causa delle dimensioni, della conformità o della sensibilità, il posizionamento dei carichi di lavoro e la previsione dei costi di uscita stanno diventando decisioni fondamentali da un punto di vista dell'architettura.
[08:02-09:56] La complessità di una sola richiesta dell'AI: una richiesta di un singolo utente ad un'applicazione basata sull'intelligenza artificiale può attivare decine di richieste di background distribuite che coinvolgono più modelli, database vettoriali e API. Cook nota che, poiché questi sistemi non sempre sono assegnati in colocation, una latenza di rete ripetutamente ridotta può peggiorare la situazione, rendendo la rete o lo storage l'effettivo collo di bottiglia anziché la GPU.
[09:57–11:35] La gestione dei dati distribuiti e dei costi di uscita: poiché i dati aziendali sono sparsi tra cloud pubblici, infrastrutture private e posizioni sull'edge, lo spostamento dei dati diventa costoso e complesso a causa delle normative e dei fattori geografici. Cook sottolinea la necessità di stabilire in anticipo le tariffe per il trasferimento dei dati allo scopo di evitare costi di uscita imprevisti che possono raggiungere miliardi di euro all'anno.
[11:36–13:08] La progettazione dell'architettura dell'AI da zero: per i team che creano oggi una piattaforma, Cook consiglia di progettarla per i "dati in movimento" fin dal primo giorno. Ciò comporta presupporre la presenza di applicazioni distribuite, la flessibilità nel posizionare i carichi di lavoro per gli utenti del servizio in modo efficace e la portabilità fondamentale per adattarsi ai rapidi cambiamenti di modelli e infrastrutture.
[13:09–14:23] I punti di partenza della nuova progettazione: i team che riprogettano la propria infrastruttura dovrebbero iniziare a valutare le risorse di elaborazione disponibili, determinando quali modelli eseguire, stabilendo la proprietà dei dati, decidendo se creare o acquistare l'infrastruttura e analizzando l'economia dei token.
[14:24–15:16] Il valore dei modelli più piccoli: sebbene il settore sia ossessionato dai modelli più grandi, Cook sottolinea che i modelli più piccoli possono talvolta offrire risultati migliori e più convenienti. L'utilizzo di un modello più piccolo su una CPU per attività specifiche consente di risparmiare in termini economici e di migliorare l'efficienza instradando correttamente i carichi di lavoro.
[15:17–16:15] Il ruolo dell'edge computing: l'edge computing avvicina le risorse di elaborazione all'utente finale, anche utilizzando posizioni distribuite delle o ambienti containerizzati sull'edge, a seconda di ciò che serve al cliente per offrire le experience richieste e per gestire, al contempo, l'impatto finanziario.
[16:16-20:23] Scegliere le strategie di AI superando le tendenze: Cook nota che non esiste un modello universale di maturità per l'intelligenza artificiale. Le aziende devono allineare le proprie scelte legate all'infrastruttura dell'AI con gli specifici obiettivi aziendali, sia che si tratti semplicemente di utilizzare un servizio di AI esterno, eseguire le GPU interne per ottimizzare, addestrare i modelli da zero o utilizzare l'inferencing senza server.