《Attention Is All You Need》：Transformer的影响

David

2017年，Google Brain团队的八位研究员发表了一篇论文。他们对这项研究及其潜在影响感到非常兴奋，预见到其巨大的变革力。然而，谷歌公司的态度则相对保守，将其视为语言模型工作的又一次迭代。他们认为这虽然重要，但并未确信它就是“下一个谷歌”，公司内部的其他项目似乎更有潜力。但正是这篇论文的发表，为OpenAI提供了机遇，让他们抓住了机会，最终构建出了堪比“下一个谷歌”的产品，因为这篇论文就是著名的《Attention Is All You Need》，它引入了Transformer架构。

Ben

Transformer的起源是什么？当时谷歌语言模型的最新进展又是什么？

David

继Françoise Och在谷歌翻译上取得成功，以及2007年左右谷歌翻译获得改进后，团队便