来源:市场资讯
(来源:网易科技)

如果不是谷歌 TurboQuant 的搞了这样一场闹剧,我都没发现我们忍 AI 这么久了。
这个月的 24 号,谷歌研究院(Google Research)突然发帖,详细介绍一项名为 TurboQuant 的极端压缩算法。

这篇帖子非常简单地总结了 TurboQuant 这个算法的用处 —— 它能把大模型推理时的 KV cache 内存压缩到 3.5 bit(约 6 倍),而且几乎不丢精度。
翻译成人话就是,谷歌研究院介绍了一种算法,能大幅度减少大模型对于内存的消耗了,以前用 600G 内存才能搞定的事儿,用上这个算法后只要 100G 就行了!

第二天,原本还在吃着火锅唱着歌的几个存储大厂,股价应声下跌。
美光科技股价下跌3.4%,市值损失151.66亿美元,闪迪(SanDisk)股价一度大跌6.5%,收盘时跌幅收窄至3.5%,市值损失36.3亿美元。西部数据(We