L'inférence IA consiste, pour un modèle entraîné, à traiter des données en temps réel afin de générer un résultat. À mesure que les entreprises évoluent, passant de l'utilisation de copilotes basiques au déploiement de systèmes natifs IA, l'inférence nécessite une latence bien moindre et une fiabilité accrue.
Points à retenir
-
Cette infographie s'appuie sur les données du rapport sur l'état de l'inférence d'IA d'Akamai, qui a interrogé plus de 200 ingénieurs et architectes spécialisés en IA
-
La transition vers une infrastructure native pour l'IA exige de 61 % des équipes qu'elles atteignent des temps de réponse inférieurs à 100 ms.
-
Les équipes se tournent vers l'inférence distribuée dans le cloud afin de rapprocher les charges de travail des utilisateurs et des données.
-
Les charges de travail ne se limitent plus à l'automatisation des tâches des employés, mais s'étendent désormais à la confiance des clients et à la protection contre la fraude.
Foire aux questions (FAQ)
Foire aux questions (FAQ)
L'inférence centralisée achemine toutes les requêtes des utilisateurs vers un seul centre de données distant, ce qui entraîne un décalage. L'inférence distribuée dans le cloud déploie des modèles d'IA sur des serveurs plus petits, situés plus près des utilisateurs et des données.
Il s'agit de techniques de gestion automatisée du réseau. Le filtrage analyse le trafic IA entrant à des fins de sécurité, tandis que l'acheminement redirige automatiquement les requêtes des utilisateurs vers le serveur cloud le plus performant afin de garantir une réponse IA aussi rapide que possible.