用户头像
也是Jesus
 · 新加坡  

老黄的最新访谈,讲的真好

阿姆达尔定律是根本性的——如果系统中有一个部分无法被加速,整个系统就无法被加速。所以你必须一次性审视整个系统。exetremely co-design意味着极致协同设计。

根本原则是:人们拥有的信息越多,他们做出的决策就越好。所以我努力做到过度沟通。

技术的历史就是平台的历史。PC是一个平台。iPhone是一个平台。互联网是一个平台。如果英伟达能创建一个计算平台——不只是一块图形芯片,而是一个可编程的科学计算平台——那么我们能创造的价值将远远超过任何单一产品。

什么时候知道深度学习会成为那个大事件的?黄仁勋:2012年AlexNet出现时,我立刻看到了。GPU本质上是一台矩阵乘法机器。深度学习就是矩阵乘法。两者的契合是完美的。第一,结果——他们以巨大的优势赢得了ImageNet竞赛。不是微弱的优势,是巨大的优势。这意味着这不是渐进式改进,而是质的飞跃。第二,方法——纯粹的神经网络,端到端训练,跑在GPU上。没有手工提取的特征,没有特定领域的技巧。只有数据、一个神经网络和一块GPU。第三,团队——他们是严肃的研究者。杰弗里·辛顿是他那一代最伟大的科学家之一。当我看到他的团队用这种方法取得了这样的结果,我知道它是真实的。

现在有四条扩展定律:(1)预训练扩展——当你用更多数据和更多算力进行训练时,模型会变得更聪明。这是最初的扩展定律。(2)后训练扩展——预训练之后,你可以进行基于人类反馈的强化学习、合成数据生成等技术。这也可以扩展。(3)测试时扩展——在推理过程中,你可以给模型更多算力让它思考更长时间。这就是思维链推理,是DeepSeek的R1,是OpenAI的o系列模型。模型可以推理、验证、回溯、重试。(4)智能体扩展——你可以启动多个智能体并行工作。一个智能体可以生出十个子智能体,每个再生出十个。你可以创建整个AI智能体组织同时运转。

管理供应链最难的部分是什么?黄仁勋:交货期。我们需要的一些组件有18个月、24个月的交货期。

如何区分必要的和不必要的复杂性?黄仁勋不断追问"为什么",直到再也无法追问为止。如果你无法解释某件事为什么需要按它本来的样子存在——如果答案是"因为我们一直都是这么做的"——那很可能就是不必要的复杂性。必要的复杂性有一个一直追溯到物理原理或数学原理的理由。不必要的复杂性有一个追溯到历史或组织结构的理由。不断追问"为什么"的纪律,是将优秀工程与卓越工程区分开来的东西。这很难,因为总有社会和组织压力来维持复杂性。人们已经在它上面投入了,他们的职业生涯围绕着它建立。消除它感觉像是在攻击他们。卓越的工程需要某种勇气——简化的勇气、消除的勇气、削减的勇气。这种勇气必须来自顶层,因为组织不会自发地去这样做。

英伟达最大的护城河是什么?CUDA的安装基础。但护城河不只是安装基础——而是信任。开发者相信CUDA会持续演进,相信英伟达会持续投资它,相信今天写的代码在下一代硬件上也能运行。这种信任需要数十年才能建立。

计算正在从检索转变为生成,数据中心以前是一台检索机器——你存储数据,你检索数据,涉及的算力是有限的。现在,数据中心是一台生成机器——它创造token、图像、视频、蛋白质结构、候选药物、代码。

数据中心的建设在什么阶段?早期。非常早期。今天存在的AI基础设施只是将会被建造的东西的一小部分。每个主要行业都将被AI改变。每个企业都将需要AI基础设施。每个国家都将想要AI主权。我用电力来做类比。当电力最初被引入时,一些工厂、一些城市有了发电机。"每栋建筑、每个家庭、每台设备都将连接到电网"这个想法最初听起来荒诞不经。但它发生了,经历了数十年的投资。AI基础设施将遵循类似的轨迹。当前的数据中心是早期的发电站。2040年或2050年的AI基础设施,与今天的基础设施之间的差异,将如同现代电网与最初的发电机之间的差异一样巨大。

AGI已经到来了吗?我们在通往AGI的道路上处于何处?我认为,如果我们接受这样一个定义——一个能执行人类所能执行的任何智识任务的系统——那么我们已经实现了AGI。当前的AI系统——前沿模型——可以通过律师资格考试、医疗执照考试、大多数领域的博士资格考试。它们能编写代码、分析数据、进行研究、生成创意内容。在很多领域,它们的表现超过了人类。当然,这是否是一种通用的、统一的、有意识的智能,可以在物理世界中自主运作?不,我们还没有实现那个。但我认为AGI的定义随着AI的进步一直在移动。每次AI实现了一项新能力,定义就会转向AI尚未做到的事情。这是可以理解的——但它使问题难以给出确定的答案。

AI时代最重要的技能是清晰的思维。

每一波自动化浪潮中,人类劳动的总量都在增加。为什么?因为生产率提升创造财富,财富创造对新商品和服务的需求,而新商品和服务需要新的劳动力。

我看到的未来是:AI处理常规,人类处理有意义的事情。科学家大部分时间都在做不起作用的实验、阅读论文、处理数据。AI能显著加速所有这些。留给科学家的是假设生成、洞察力,以及对什么是有趣和重要的东西的判断。

你曾经提到过你希望死在办公桌上——工作到最后一刻。这仍然是真的吗?黄仁勋: 是的。说真的,是的。不是说我不重视休息、家庭或生活的其他维度,我确实重视。但工作是如此有趣、如此重要、充满了如此多的可能性——停下来、离开、退休——我真的无法想象。我认为最有意义的生活是这样一种生活:你找到了感觉重要且你有能力做好的工作。如果你找到了那个——如果你找到了值得把生命投入其中的事情——那么自然的反应就是继续做下去。继续出现,继续贡献,继续推进。另一种选择——在不得不之前就停下,当你还能上场的时候从场边观看——那看起来是一种浪费。说实话——我认为是工作本身在支撑着我。我发现这项工作有深刻的趣味。每天都有新的问题要解决、新的东西要学习、新的可能性去探索。那是一份巨大的礼物。我希望我能尽可能长久地收到它。