媒体爆料：发现新一代大模型”没有那么大飞跃“，OpenAI已经改变策略

随着ChatGPT和其他人工智能产品的用户数量不断攀升，支撑这些产品的核心技术——大型语言模型（LLM）的进步速度却似乎放缓了。

据科技媒体The Information报道，OpenAI开发的下一个旗舰模型“Orion”，目前已经完成20%的训练。尽管表现已接近现有的GPT-4，但进步幅度却远不如前两代旗舰模型之间的飞跃。

该媒体还援引OpenAI 的一名员工称，Orion在语言任务上表现更好，但在编码等任务上可能不会优于以前的模型。另一位知情人士表示，与最近发布的其他模型相比，OpenAI在其数据中心运行 Orion 的成本可能更高。

质量进展放缓，扩展法面临挑战

在过去几年中，LLM使用来自网站、书籍和其他来源的公开文本和其他数据进行预训练过程，这种方法虽然能在一定程度上缓解数据匮乏，但带来的质量提升有限。

OpenAI的员工表示，Orion部分接受了人工智能生成的数据训练，这些数