用户头像
刘成岗
 · 浙江  

记住这几个基础知识,看到AI那些煽动性文章时能不被忽悠。
一、模型交互是无状态的,看起来它能记住你上次对话内容是Agent(包括Web)把聊天历史随着本次对话一起发给模型。
二、模型的上下文窗口是很小的,一般来几百K,Gemini是1M左右。
三、根据一和二,用户跟AI对话的时候经常会发现它“忘了”前面说过的,这是必然发生的,因为那个几百K的上下文窗口塞满了。
四、根据一、二、三,Agent干活的成功率是乘法,假设一次交互的成功率是95%(我乱拍脑袋的,拍高点),假设4次交互的成功率是81%,看起来好像还好,不好意思,第5次交互上下文满了这次的成功率可能骤降到40%(根据我用AI写代码的经验拍的),于是五次的成功率只有32.5%,如果一项任务要10次交互才能完成,不好意思,成功率只有10.6%。
五、AI还是瓶中脑,它连当天是哪一天都不知道,大模型提供了一套成为tool calling的机制告诉AI今天是哪天、搜索网页、读取文件、订酒店、点外卖。AI干好活还需要tool calling配合好,tool calling的质量也至关重要。注意啊,订酒店和点外卖的能力,是携程美团们赋予AI的,不是AI与生俱来的。
看到胡吹开15个Agent让它们自动干点啥的,直接拉黑就可以了。