La inferencia de IA se produce cuando un modelo entrenado procesa datos en tiempo real para generar una salida. A medida que las empresas pasan de usar copilots básicos a implementar sistemas nativos de IA, la inferencia requiere una latencia mucho menor y una mayor fiabilidad.
Conclusiones clave
-
Esta infografía se basa en los datos del informe sobre el estado de la inferencia de IA de Akamai, que encuestó a más de 200 ingenieros y arquitectos de IA.
-
Pasar a una infraestructura nativa de IA requiere que el 61 % de los equipos alcancen tiempos de respuesta inferiores a 100 ms.
-
Los equipos están adoptando la inferencia de nube distribuida para acercar las cargas de trabajo a los usuarios y a los datos.
-
Las cargas de trabajo están ampliando la automatización de los empleados anteriores a la confianza de los clientes y la protección contra el fraude.
Preguntas frecuentes
Preguntas frecuentes
La inferencia centralizada dirige todas las solicitudes de los usuarios a un único centro de datos remoto, lo que provoca retrasos. La inferencia de nube distribuida implementa modelos de IA en servidores más pequeños ubicados más cerca de los usuarios y de los datos.
Se trata de técnicas automatizadas de gestión de redes. El filtrado analiza el tráfico de IA entrante para garantizar la seguridad, mientras que el direccionamiento, como su propio nombre indica, dirige automáticamente las solicitudes de los usuarios al servidor en la nube más eficiente para garantizar la respuesta de IA más rápida posible.