阿里巴巴千问大模型业务总经理徐栋分享了一组数字：千问的推理成本正以每半年接近10倍的速度下降。
推理速度从30-50 TPS飙升到80-100+，首包延迟从2秒降到500毫秒。
他说，今天端侧4B的小模型，能力已经超过两年前最大的闭源模型，70%以上的通用任务可以在手机和车机上本地处理。
其实通过他的话可以得出一些结论，大模型的进化和使用成本下降非常快，吞噬软件的趋势不可阻挡。但哪怕到了AGI，唯独也需要物理Ai才能创造新需求，现在自动驾驶是最有力的体现，相信aiot端侧硬件的曙光也快来了。
$乐鑫科技(SH688018)$