用户头像
刘成岗
 · 北京  

又学完Position Encoding了，太精妙了，这个作者是音乐家吧。 （我让ChatGPT给了一张示意图）查看图片

@刘成岗 :终于要学到ChatGPT们的模型transformer了，刚学完前置课程Attention，不得不说Attention本身真是个天才的想法。
比如翻译英文到中文，完全可以不懂中英文的任何语法知识，就是当作两个token序列，对于每个预测的中文（一开始是胡乱预测）token，算出它和英文token序列中所有token的相似度（Att...