$谷歌C(GOOG)$ 新推出的这个KV Cache压缩算法,可能导致的后果,其实存在两个截然不同的版本:
第一个版本就是昨天投资者担心的,因为内存总需求量减少了,存储的涨价逻辑不成立了,存储价格和需求量会下跌;
问题是,还存在第二种可能性:大模型推理的成本、效果和速度大幅度提升了,但是存储的需求量没有变少,价格也没降下来。
为什么呢?因为现阶段,AI大模型厂商对存储的需求上限,其实是由上游产能&自身融资能力决定的,是“现阶段反正能买到的就这么多”,而不是“无论如何需求量就这么大”,那么一旦出现了新的节约内存使用量的技术,这些厂商就一定会想个新的办法,把省出来的内存给快速用满,而不是因此降低对存储模块的采购需求。
最终,token的价格必然会进一步降低,但存储模块的价格则未必。
所以,目前为止,我比较倾向于第二个版本。先写在这里,看后面会不会被打脸。