AI 推理是指经过训练的模型处理实时数据并生成输出的过程。随着企业从使用基础的 Copilot 发展到部署 AI 原生系统，推理过程需要更低的延迟和更高的可靠性。
要点汇总
-
本信息图基于 Akamai 的《AI 推理现状》报告中的数据，该报告对 200 多名 AI 工程师和架构师进行了调研。
-
向 AI 原生基础设施转型要求 61% 的团队实现低于 100 毫秒的响应时间。
-
团队正在转向分布式云推理，以便将工作负载部署在更靠近用户和数据的地方。
-
工作负载的规模正在超越员工自动化领域，扩展到客户信任和欺诈保护领域。
常见问题
常见问题
集中式推理将所有用户请求路由到单个远端数据中心，从而导致延迟。分布式云推理将 AI 模型部署在更靠近用户和数据的分布更广的小型服务器上。
这些是自动化的网络管理技术。筛选用于分析传入 AI 流量以确保安全，而调度则自动将用户请求路由至最高效的云服务器，以确保实现最快的 AI 响应。