用户头像
天空之城2015
 · 北京  

$复旦微电(SH688385)$ $安路科技(SH688107)$ 在今年GTC大会上,黄仁勋正式发布基于CPU+LPU+FPGA的推理服务器机架——英伟达Groq 3 LPX。
“这标志着加速计算领域的一个里程碑。”黄仁勋称,LPX 和 Vera Rubin 专为满足智能体系统对低延迟和大上下文的需求而设计,大规模部署时,LPU集群可作为一个巨型单处理器,实现快速、确定性的推理加速,配备 256 个 LPU 处理器的 LPX 机架拥有 128GB 片上 SRAM 和 640 TB/s 的扩展带宽。与 Vera Rubin NVL72 集成,Rubin GPU 和 LPU 通过联合计算每个输出标记的 AI 模型每一层,显著提升解码速度。
针对万亿参数模型和百万级上下文进行了优化的LPX架构与Vera Rubin协同设计,可最大限度地提高功耗、内存和计算效率。更高的每瓦吞吐量和更优异的toke

点击查看全文