AI赋能世界3-浅谈小模型的没落

在2017年前，已有一波AI浪潮，也衍生出那个年代的独角兽四小龙（商汤/旷视/依图/云从），如今都不温不火，除了商汤和云从上市外，另外两家估计再难IPO，毕竟在国内，软件的变现逻辑极为困难。

当年的人工智能技术在卷积神经网络（CNN）领域实现重大突破，在图像识别技术上成功突破人眼的极限，使得人脸识别、事件识别出现众多应用场景，公共安全、视频监控、人脸验证成为了应用香饽饽。在雪亮工程等政策牵引下，依图和商汤几乎垄断了社会治理的人脸识别市场，多家安防公司也实现快速增长（海康一度达到6000亿）。但软件的变现力太弱，小模型的技术护城河在大模型下不堪一击，如今人脸识别技术已经成为同质化的低成本技术。

基于Transformer架构的大模型在重构卷积神经网络下的小模型，通过对局部图像的token化，采用Attention机制完全可以达到CNN的效果。并且这种模式的训练效率远高于传统模式。现在只需要几十