[00:00–02:30] Los límites de la IA que desaparecen: Swapnil Bhartiya presenta el cambio de la IA que ha pasado de estar confinada en ámbitos aislados a penetrar en todas las aplicaciones y flujos de trabajo. Danielle Cook explica que ya no existe una distinción clara entre aplicaciones de IA y aplicaciones que no son de IA. Las aplicaciones ahora contienen IA, se conectan a ella a través de API, la alimentan con datos o la admiten, lo que convierte a cada aplicación en un participante del ecosistema de la IA.
[02:31–03:25] Visibilidad e IA en la sombra: Danielle analiza los diferentes niveles de visibilidad que tienen las organizaciones sobre el uso de la IA. Aunque los sectores regulados pueden mantener un control estricto, la mayoría de las organizaciones deben asumir un uso generalizado y no aprobado de la IA en la sombra en sus flujos de trabajo, lo que supone un importante desafío de supervisión para los desarrolladores y los equipos de plataformas.
[03:26–04:56] Experimentación frente a demandas de producción: el traslado de la IA a la producción cambia el enfoque del rendimiento del modelo a la gestión real de usuarios, los requisitos de latencia, la inferencia continua y los costes reales. Danielle destaca que las GPU son solo parte de la arquitectura. La producción también requiere recursos informáticos, almacenamiento y redes, además de tener en cuenta que muchas tareas complementarias (como las llamadas a las API y las bases de datos) se ejecutan de forma eficaz en las CPU.
[04:57–06:09] Replanteamiento de la estrategia de infraestructura: los arquitectos deben ver toda la infraestructura desde la perspectiva de la IA debido a su naturaleza interactiva y en tiempo real y al movimiento continuo de datos. Esto requiere implementar estrategias como el enrutamiento de modelos y la caché semántica para proporcionar experiencias de cliente rentables, de alta calidad y a escala.
[06:09–08:01] Gravedad de los datos y Edge Computing: el paradigma está cambiando de trasladar la computación a los datos a trasladar los datos a la computación. Puesto que los datos suelen ser el componente con menos movilidad debido a su tamaño, al cumplimiento normativo o a la confidencialidad, la asignación de las cargas de trabajo y la previsión de los costes de salida se están convirtiendo en decisiones fundamentales de la arquitectura.
[08:02–09:56] La complejidad de una sola solicitud de IA: una sola solicitud de un usuario a una aplicación de IA puede activar docenas de solicitudes distribuidas en segundo plano, lo que implica varios modelos, bases de datos vectoriales y API. Danielle señala que, dado que estos sistemas no siempre están coubicados, una latencia de red poco importante que se repita puede agravar la situación, haciendo que la red o el almacenamiento sean el auténtico cuello de botella y no la GPU.
[09:57–11:35] Gestión de los datos distribuidos y los costes de salida: con los datos empresariales dispersos en nubes públicas, infraestructuras privadas y ubicaciones en el Edge, el traslado de datos resulta caro y complejo debido a factores normativos y geográficos. Danielle hace hincapié en la necesidad de planificar por adelantado las tarifas de transferencia de datos para evitar costes de salida inesperados que pueden llegar a miles de millones al año.
[11:36–13:08] Diseño de la arquitectura de IA desde cero: Danielle Cook aconseja a aquellos equipos que están construyendo una plataforma hoy en día que diseñen "datos en movimiento" desde el primer día. Esto implica asumir aplicaciones distribuidas, una asignación flexible de las cargas de trabajo a los usuarios de servicio de forma eficaz y una portabilidad fundamental para adaptarse a los rápidos cambios en los modelos y la infraestructura.
[13:09–14:23] Puntos de partida para rediseñar la arquitectura: los equipos que rediseñen su infraestructura deben empezar por evaluar los recursos informáticos disponibles, determinar qué modelos ejecutar, evaluar la propiedad de los datos, decidir entre crear y comprar la infraestructura y analizar la economía de tokens.
[14:24–15:16] El valor de los modelos más pequeños: mientras que el sector se obsesiona con los modelos más grandes, Danielle señala que los modelos más pequeños a veces pueden ofrecer resultados mejores y más rentables. El uso de un modelo más pequeño en una CPU para tareas específicas puede ahorrar dinero y mejorar la eficiencia mediante el enrutamiento adecuado de la carga de trabajo.
[15:17–16:15] El papel del Edge Computing: el Edge Computing coloca los recursos informáticos cerca del usuario final. Esto puede implicar que haya ubicaciones de GPU distribuidas o entornos de Edge contenedorizados, en función de lo que el cliente necesite para ofrecer la experiencia necesaria y gestionar el impacto financiero.
[16:16–20:23] Hacer frente a las estrategias de IA más allá de las altas expectativas iniciales: Danielle señala que no existe un modelo de madurez universal para la IA. Las empresas deben alinear sus elecciones de infraestructura de IA con sus objetivos empresariales específicos, aunque eso signifique utilizar simplemente un servicio de IA externo, ejecutar las GPU internas para ajustar con precisión, entrenar modelos desde cero o utilizar inferencia sin servidor.