谷歌$谷歌A(GOOGL)$ 发布的新型AI内存压缩技术TurboQuant,引发市场对存储需求前景的担忧。据称,该技术可在不损失准确性的前提下,将大语言模型的缓存内存占用至少减少6倍,并实现最高8倍的加速,旨在解决AI推理与向量搜索中的内存瓶颈问题。
周三美股收盘,闪迪$SanDisk(SNDK)$ 和美光$美光科技(MU)$ 跌幅靠前,分别收跌3.5%、3.4%。希捷科技收跌2.6%,西部数据跌幅收窄至1.6%。

谷歌发布的TurboQuant是一种专为大型语言模型和向量搜索引擎设计的内存压缩技术,核心目标是解决AI系统中键值缓存(Key-Value Cache)的存储瓶颈。
根据谷歌公告,TurboQuant可在无需模型训练或微调的前提下,将键值缓存压缩至3比特,在Gemma、Mistral等开源模型上实测达到键值内存6倍缩减效果。在英伟达H100 GPU加速器上,该算法较未量化键值方案性能提升最高达8倍。
该技术通过两步实现压缩:首先采用PolarQuant方法对数据向量进行旋转以实现高质量压缩,继而利用量化Johnson-Lindenstrauss算法消除残差误差。谷歌指出,传统向量量化方法每个数字会产生1至2比特的额外内存开销,部分抵消了压缩收益,而TurboQuant对此有所改善。
TurboQuant将于ICLR 2026发表,PolarQuant则计划在AISTATS 2026上亮相。谷歌已在LongBench、Needle In A Haystack、ZeroSCROLLS、RULER及L-Eval等多项基准测试中完成验证,并指出该技术同样适用于大规模搜索引擎的向量检索场景。