跳转到主要内容
Background

规划出站流量,防止 AI 推理成本飙升

了解团队为何必须在扩展 AI 推理规模之前,对数据移动、云边界和出站流量构建模型。

带时间戳的摘要

带时间戳的摘要

[00:00–00:21] 数据移动的隐性成本:Swapnil Bhartiya 介绍了在将 AI 投入生产环境时,出站流量成本往往会让团队措手不及的问题。他探讨的议题是集中式推理的成本中有多少归因于数据移动,以及企业该如何为这些费用制定规划。

[00:22–01:07] 对完整的 AI 账单构建模型:Ari Weil 表示,在未来 12 到 36 个月内,成功的企业将对其整体账单构建模型,而不是仅仅依赖超大规模云服务提供商所标榜的各个计费项。他解释说,这要求理解用户获取、并发性等扩展变量,并掌握知识产权与外部学习数据所在的确切位置。

[01:08–01:40] 评估内部基础架构与云基础架构:Weil 建议,团队迈出的第一步应该是计算在其自有环境(例如,租用的空间或私有数据中心)中管理数据的成本,而不是使用云服务提供商的服务。此过程有助于团队确定数据边界、可用区以及跨不同类型基础架构进行分布式部署所带来的财务影响。

[01:41–02:24] 云端出站流量的财务壁垒:Weil 探讨了导出数据或终止云合作关系所伴随的高昂费用,并指出每 GB 9 至 12 美分的价格显然是为了将数据锁定在超大规模云服务提供商的平台内。他补充道,虽然部分供应商可以免除一次性数据下载费用,但企业必须真正打算完全退出该提供商的云服务。

[02:25–03:15] 向中立架构的转变:讨论随后转向了中立架构,这种架构允许企业将数据存储在单一位置,在不同区域之间进行同步,并在逻辑上最合理的位置提供数据。Weil 指出,“核心到边缘”融合架构在初期可能看起来成本高昂,但如果能够消除微服务之间跨地域边界的数据传输费用,它便会带来显著的成本优势。

[03:16–03:48] 确定工作负载的部署位置:Weil 解释道,为了最终确定架构战略,企业必须准确确定推理任务在何处运行、训练与微调的频率,以及应用程序活动的其他部分在何处进行。通过将这些运营知识与用户增长建模相结合,团队便能准确地决定其应用程序的哪些部分应采用集中式部署,而哪些部分应采用分布式部署。

分享