英伟达GTC大会演讲要点总结:
1. Vera Rubin平台:这次直接把整个机架搬上台。整套系统主打端到端垂直整合,由七芯组成。核心是Rubin GPU,配套Vera CPU专为推理场景优化
2. Groq LPU:200亿美元收购Groq底牌揭晓,专为推理而设计的加速器,标志着英伟达现在同时拥有训练和推理能力
注:大模型推理有两个阶段,处理上下文(高吞吐)和生成Token(低延迟)。GPU擅长前者,但在高频并发生成时会遇到瓶颈。英伟达给出的答案是Vera Rubin + Groq LPU——让Rubin GPU负责读题,让Groq LPU负责抢答。两者通过软件无缝缝合,解决了高吞吐和低延迟不可兼得的矛盾
3. Feynman:原计划2028年发布,现提前两年
4. Kyber机架:传统风冷被淘汰,采用45度温水液冷技术。未来数据中心不会再看到杂乱的线缆,全靠水流带走热量
5. NemoClaw: