[00:00 – 02:30] La disparition de la frontière entre IA et non-IA : Swapnil Bhartiya présente la transition d'une IA autrefois cantonnée à des usages isolés vers une IA qui imprègne toutes les applications et tous les flux de travail. Danielle Cook explique que la distinction entre applications d'IA et applications traditionnelles est désormais floue. Les applications intègrent désormais l'IA, s'y connectent via des API, lui transmettent des données ou la prennent en charge. Chaque application devient ainsi un acteur de l'écosystème de l'IA.
[02:31 – 03:25] Visibilité et IA fantôme : Danielle Cook évoque les différents niveaux de visibilité dont disposent les entreprises sur l'utilisation de l'IA. Si certains secteurs réglementés continuent d'exercer un contrôle strict, la plupart des entreprises doivent partir du principe que des usages non autorisés de l'IA sont déjà largement répandus dans leurs flux de travail. Cette « IA fantôme » représente un défi majeur en matière de surveillance pour les équipes responsables des plateformes et les développeurs.
[03:26 – 04:56] L'expérimentation confrontée aux exigences de production : lorsque l'IA passe en production, l'enjeu ne se limite plus aux performances des modèles. Il faut également gérer les utilisateurs réels, les besoins en matière de latence, l'inférence continue et les coûts opérationnels. Danielle Cook précise que les GPU ne constituent qu'un composant de l'architecture. Un environnement de production nécessite également des ressources de calcul, de stockage et de réseau, tout en tenant compte du fait que de nombreuses tâches annexes (comme les appels d'API et les bases de données) s'exécutent efficacement sur des CPU.
[04:57 – 06:09] Repenser la stratégie d'infrastructure : les architectes doivent désormais appréhender l'ensemble de l'infrastructure à travers le prisme de l'IA, en raison de son caractère interactif en temps réel et de ses flux de données continus. Cela implique la mise en œuvre de stratégies telles que le routage des modèles et la mise en cache sémantique, afin de fournir des expériences client de haute qualité à grande échelle tout en maîtrisant les coûts.
[06:09 – 08:01] Gravité des données et edge computing : le paradigme évolue vers une logique qui consiste à déplacer la puissance de calcul vers les données, plutôt que l'inverse. Les données sont généralement l'élément le moins mobile en raison de leur volume, des contraintes réglementaires ou de leur sensibilité. La répartition des charges de travail et l'anticipation des coûts de trafic sortant deviennent donc des décisions architecturales critiques.
[08:02 – 09:56] La complexité d'une simple requête IA : une seule requête adressée par un utilisateur à une application d'IA peut déclencher des dizaines de requêtes distribuées en arrière-plan qui impliquent plusieurs modèles, bases de données vectorielles et API. Danielle Cook souligne que ces composants ne sont pas toujours colocalisés. Ainsi, de faibles latences réseau répétées peuvent s'accumuler, faisant du réseau ou du stockage le véritable goulet d'étranglement, plutôt que le GPU.
[09:57 – 11:35] Gestion des données distribuées et des coûts de trafic sortant : lorsque les données d'entreprise sont réparties entre les clouds publics, les infrastructures privées et les sites en bordure de l'Internet, leur transfert devient coûteux et complexe en raison des contraintes réglementaires et géographiques. Danielle Cook insiste sur la nécessité d'intégrer dès la conception les frais de transfert de données, afin d'éviter des coûts de trafic sortant imprévus qui peuvent atteindre plusieurs milliards de dollars par an.
[11:36 – 13:08] Concevoir une architecture d'IA à partir de zéro : pour les équipes qui créent une plateforme aujourd'hui, Danielle Cook recommande d'intégrer le concept de « données en mouvement » dès le départ. Cela signifie partir du principe que les applications sont distribuées, conserver une certaine flexibilité dans le placement des charges de travail afin de répondre efficacement aux besoins des utilisateurs et garantir une portabilité fondamentale pour s'adapter à l'évolution rapide des modèles et des infrastructures.
[13:09 – 14:23] Les premiers pas vers une réarchitecture : pour repenser leur infrastructure, les équipes devraient commencer par évaluer les ressources de calcul dont elles disposent, déterminer quels modèles exécuter, analyser la propriété des données, décider entre construire ou acheter l'infrastructure nécessaire, puis étudier les coûts des jetons.
[14:24 – 15:16] L'intérêt des modèles de petite taille : Alors que l'industrie se concentre sur les modèles les plus volumineux, Danielle Cook indique que les modèles plus compacts peuvent parfois offrir de meilleurs résultats à moindre coût. Pour certaines tâches, l'exécution d'un modèle léger sur CPU permet de réduire les dépenses et d'améliorer l'efficacité grâce à un routage approprié des charges de travail.
[15:17 – 16:15] Le rôle de l'edge computing : l'edge computing consiste à rapprocher les ressources de calcul des utilisateurs finaux. Selon les besoins des clients et l'expérience attendue, cela peut prendre la forme de GPU distribués géographiquement ou d'environnements conteneurisés en bordure de l'Internet, tout en tenant compte des implications financières.
[16:16 – 20:23] Définir une stratégie pour l'IA au-delà des effets de mode : Danielle Cook rappelle qu'il n'existe pas de modèle de maturité universel en matière d'IA. Les entreprises doivent aligner leurs choix d'infrastructure d'IA sur leurs objectifs métier spécifiques, qu'il s'agisse simplement d'utiliser un service d'IA externe, de déployer des GPU internes pour le réglage précis, d'entraîner des modèles à partir de zéro ou encore de recourir à l'inférence serverless.