[00:00–00:21] I costi nascosti dello spostamento dei dati: Swapnil Bhartiya introduce l'argomento dei costi di uscita che i team non riescono a prevedere quando l'intelligenza artificiale entra in fase di produzione, chiedendosi quanto il costo dell'inferencing centralizzato sia da attribuire allo spostamento dei dati e come le organizzazioni possono pianificare tali spese.
[00:22–01:07] Pianificare tutte le spese legate all'AI: Ari Weil afferma che, nei prossimi 12 - 36 mesi, le aziende di successo saranno quelle che riusciranno a pianificare tutte le spese piuttosto che affidarsi ai singoli costi pubblicizzati dagli hyperscaler, spiegando che ciò richiede la comprensione delle variabili di scala, come l'acquisizione degli utenti, la concorrenza e la conoscenza delle posizioni esatte in cui si trovano i dati relativi alla proprietà intellettuale e all'apprendimento esterno.
[01:08–01:40] Confronto tra l'infrastruttura interna e l'infrastruttura cloud:: Weil suggerisce che il primo passo che devono compiere i team è calcolare il costo di gestione dei dati nel proprio ambiente, come uno spazio dedicato o un data center privato, invece di utilizzare i provider di servizi cloud. Questo processo aiuta i team a identificare i confini dei dati, le zone di disponibilità e l'impatto finanziario della distribuzione nei vari tipi di infrastruttura.
[01:41-02:24] Gli ostacoli finanziari dei costi di uscita dal cloud: Weil parla delle elevate spese che sono associate all'esportazione dei dati o all'abbandono di una partnership nel cloud, notando che i costi da 9 a 12 centesimi per gigabyte sono espressamente concepiti per mantenere i dati bloccati all'interno delle piattaforme degli hyperscaler. Inoltre, aggiunge che, mentre alcuni fornitori offrono il download gratuito dei dati una tantum, l'organizzazione deve avere realmente l'intenzione di uscire completamente dal cloud del provider.
[02:25–03:15] Il passaggio all'architettura neutrale: la conversazione passa alle architetture neutrali, che consentono alle aziende di archiviare i dati in un'unica posizione, di sincronizzarli tra una zona e l'altra e di distribuirli dove servono maggiormente. Weil nota che un'architettura convergente e core-to-edge potrebbe inizialmente sembrare costosa, ma diventa vantaggiosa in termini di costi se si eliminano le spese associate allo spostamento dei dati tra i microservizi nelle varie aree geografiche.
[03:16–03:48] Stabilire la posizione dei carichi di lavoro: per finalizzare una strategia di architettura, Weil spiega che le organizzazioni devono stabilire esattamente dove viene eseguito l'inferencing, la frequenza dell'addestramento e dell'ottimizzazione e la posizione in cui avvengono le altre attività delle applicazioni. Combinando queste conoscenze operative con la pianificazione della crescita degli utenti, i team possono decidere con precisione quali parti dell'applicazione devono essere centralizzate e quali devono essere distribuite.