旧闻重看-(星环科技)NV Rubin新架构&Agent存储最强方向 - GPU Native数据库

用户头像
乾峰一路
 · 浙江  

$星环科技-U(SH688031)$

#GTC#

这篇是发表于1月6日的关于 推理时代存储必须重构的旧闻,到现在依然具有指导意义,以下是原文(来自东吴证券):

大家可以看到黄仁勋在2026年的CES大会上提出存储必须被重构。他明显提出存储瓶颈已经成为当前影响AI推理速度的重要瓶颈。假设在存储过程中,每生成一个token GPU就要把整个过去的对话历史读一遍。随着上下文变长,这种重新读取变得非常消耗带宽。因此,大模型厂商很多都会选择把一段话记住,存放在KV cache里面,通常会放在HBM里面,因为它能够方便快速调用。但现在随着上下文越来越长,并且我们随着AI Agent有记忆功能,需要记住这些上下文的时候,HBM的容量就会变得捉襟见肘。这是第一点。第二点,如果有数据溢出需要更大的存储需求,就需要GPU去访问远端的存储服务器,这时会造成很大的时延。因此,存储已经成为AI推理

点击查看全文