[00:00–00:21] Los costes ocultos del movimiento de datos: Swapnil Bhartiya presenta el tema de los costes de salida que sorprenden a los equipos cuando llevan la IA a la producción. Se pregunta qué parte del coste de inferencia centralizada se atribuye al movimiento de datos y cómo pueden las organizaciones planificar estos gastos.
[00:22–01:07] Modelar la factura de IA completa: Ari Weil afirma que, en los próximos 12 a 36 meses, las empresas de éxito modelarán su factura completa en lugar de basarse en las partidas promocionadas por los hiperescaladores. Nos explica que esto requiere entender variables de escalabilidad como la adquisición de usuarios, la simultaneidad y conocer la ubicación exacta de los datos de aprendizaje externos y de propiedad intelectual.
[01:08–01:40] Evaluación de la infraestructura interna frente a la infraestructura de nube: Ari sugiere que el primer paso para los equipos es calcular el coste de la gestión de datos en su propio entorno, como un espacio arrendado o un centro de datos privado, en lugar de utilizar proveedores de nube. Este proceso ayuda a los equipos a identificar los límites de los datos, las zonas de disponibilidad y el impacto financiero de la distribución en diferentes tipos de infraestructura.
[01:41–02:24] La barrera financiera de la salida de la nube: Ari habla sobre los elevados gastos asociados a la exportación de datos o a dejar una asociación con un proveedor de servicios en la nube, y señala que las tarifas de entre 9 y 12 cts. por gigabyte están expresamente diseñadas para mantener los datos bloqueados en las plataformas de los hiperescaladores. Añade que, aunque algunos proveedores ofrecen una exención de descarga de datos única, la organización debe tener la intención real de salir de la nube del proveedor por completo.
[02:25–03:15] El cambio a una arquitectura neutra: la conversación se mueve a las arquitecturas neutras, que permiten a las empresas almacenar datos en una ubicación, sincronizarlos en diferentes áreas y servirlos donde sea más lógico. Ari señala que una arquitectura convergente del núcleo al Edge podría parecer cara en un principio, pero acaba proporcionando un beneficio económico al eliminar las tarifas asociadas al traslado de datos entre microservicios a través de las fronteras geográficas.
[03:16–03:48] Determinar la asignación de las cargas de trabajo: para finalizar una estrategia de arquitectura, Ari explica que las organizaciones deben determinar exactamente dónde se ejecuta la inferencia, con qué frecuencia se producen el entrenamiento y el ajuste preciso, y dónde tiene lugar el resto de la actividad de la aplicación. Al combinar este conocimiento operativo con el modelado del crecimiento del número de usuarios, los equipos pueden decidir con precisión qué partes de su aplicación deben estar centralizadas y cuáles deben distribuirse.