随便打开一个页面就知道现在有多缺算力:打开Openrouter看看Claude Sonnet的Throughput速度。 作为一款主打速度的模型,正常来说,比如去年上半年,速度应该是50-80token/s。 如果你看过显卡的推理曲线,就知道如果Throughput速度要翻倍,同时并发数量可能要减少到1/4。
也就是说站在当下看,哪怕没有任何新增需求,当前推理算力可能都需要直接扩张2-3倍才能满足需求。
而从2027年开始,哪怕CSP投入了所有的现金去增加算力,每年的全量有效算力增速可能都无法超过100%。 所以无论CSP投入多少,算力都会缺,就像一个无底洞。 因为没有摩尔定律,物理层面的单位性能成本是几乎没有下降反而上升了,半导体的扩产速度无论如何也追不上每2年翻10倍的scaling law。
而黄氏定律是依靠软件来降本,软件降本的适用性和制约在未来会越来越严重。
算力的缺乏、涨价已经严重制约了AI行业的发展。
