

近年来,AI训练一直主导着全球人工智能基础设施的讨论。大规模GPU集群、数据中心建设以及耗电量巨大的模型已经成为AI时代规模的代名词。但AI训练仅仅是热身阶段,真正考验当今AI基础设施的AI推理一直在等待时机,现在正登上舞台中央。
随着AI变得更加多模态,并更深入地嵌入到各种数字平台中,推理正成为未来网络需求的主要驱动力。它也从根本上改变了全球数据中心的运营方式。为了应对激增的推理工作负载,行业必须解决网络中一个关键但经常被忽视的瓶颈——将整个网络结构连接在一起的光学连接。
不断增长的AI推理工作负载
AI推理是AI模型生命周期的"执行"阶段。这时,训练好的模型可以处理未见过的数据来提供答案、生成图像或执行任务。与高度本地化的训练过程不同,推理无处不在——遍布应用程序、企业和消费设备。
随着AI采用率激增,推理工作负载正在成倍增长。虽然以往的技术或数字平台被采用到日常生活中需要数