word教学视频教程全套百度网盘(word2vec作者曝与Ilya等十年积怨：seq2seq也是我的想法小时候经常打的“屁股针”，见效快又便宜，为啥现在却很少见了？)

梦晨发自凹非寺量子位 | 公众号 QbitAI里程碑式论文word2vec获得NeurIPS时间检验奖，可谓实至名归但一作Tomas Mikolov在Facebook上发表的长篇获奖感言，却充满了失望和不满。

论文最初被ICLR拒稿都算小事了，他还暗讽了OpenAI首席科学家Ilya Sutskever（当时两人都在谷歌）：我们当然生活在激动人心的时代，但不要对那些“想要垄断基于数十上百位科学家辛勤工作的技术、同时声称这一切都是为了人类利益的人”抱有太多信心。

广告胆小者勿入！五四三二一...恐怖的躲猫猫游戏现在开始！×Mikolov话中所指的是word2vec之后又一个里程碑式研究seq2seq，发表于2014年，不出意外的话也将会获得2024年的NeurIPS时间检验奖。

Tomas Mikolov声称seq2seq的想法最初来自于他，在谷歌大脑工作期间与Quoc Le和Ilya有过多次讨论但他跳槽到Facebook后，很惊讶看到最终发表的成果中自己没有成为共同作者

这正是金钱大量流入AI领域的时候，每个想法都价值连城看到深度学习社区迅速变成某种权力的游戏，我很悲哀金钱和权力确实会腐蚀人心……从word2vec到seq2seq最初word2vec论文投稿到首届ICLR会议（当时还只是一个workshop），尽管接受率高达70%，但还是被据搞了。

这让Mikolov感慨，审稿人想要预测一篇论文未来的影响是多么困难不少研究者都有同感，如今在大模型与AI绘画都大量应用的LoRA作者微软Weizhu Chen透露，当初第一次投稿时也被拒了，因为审稿人认为太简单。

大多数真正有效的事情往往都是简单而优雅的。

广告从秘书起步，十年内无人超越，以一己之力力挽狂澜成就一段传奇×Mikolov这些年听到了很多对word2vec的评论，正面负面都有，但并没有真正在网络上回应过不知何故，研究界不断被某些人的公关式宣传淹没。

，他们用这种方式博取引用数和别人的注意力，我不想成为其中一份子借着这次获奖加10周年的机会，Mikolov分享了一些这篇经典论文的背后故事首先是很多人抱怨word2vec的代码很难理解，甚至有人以为Mikolov是故意让大家看不懂的。

现在他澄清了“不，我还没那么邪恶”，只是在等待被批准发布代码的几个月中试图让它更短、更快，最终代码被过度优化了现在回想起来，如果谷歌大脑团队中没有Greg Corrado和Jeff Dean，我怀疑是否会获得批准——我认为word2vec可能是谷歌开源的第一个广为人知的AI项目。

尽管word2vec是Mikolov被引用次数最高的论文，但他却从未认为这是自己最有影响力的项目实际上word2vec最初是他的RNNLM项目中一个子集，这个项目很快被人们遗忘了在我看来，它至少和AlexNet一样具有颠覆性。

RNNLM开始于2010年，深度学习还处在黑暗时代，Mikolov列举了其中首次展示的想法：循环神经网络的可扩展训练，他提出了梯度裁剪（Gradient Clipping）神经语言模型首次生成文本，他从2007年开始就展示这样的例子

动态评估字符和子词级的神经语言建模神经语言模型适应，现在被称为微调第一个公开可用的语言模型评测基准，也就是修改后的Penn Treebank数据集

2012年，Mikolov从捷克布尔诺理工大学博士毕业后加入了谷歌大脑他表示自己很幸运，那里有大量神经网络的信徒，允许自己研究word2vec、展示其潜力，但他不想给人们留下一切都很完美的印象在word2vec之后，Mikolov想通过改进谷歌翻译来普及神经语言模型。

开始与Franz Och的团队合作，期间提出了几个可以补充甚至取代当时机器翻译的模型核心想法在他加入谷歌大脑之前就已经提出，也就是在不同语言句子对上训练，然后使用生成模型翻译看到的第一句话当时在短句子上效果很好，较长句子效果还不佳。

他与谷歌大脑中的其他人（主要是Quoc Le和Ilya Sutskever）多次讨论过这个项目，他们在自己跳槽到Facebook后接手当他们最终以现在著名的“seq2seq”发表我的想法时，我感到非常惊讶，不仅没有提到我作为合著者，而且我的老朋友们也忘记在论文致谢部分提到我，他们感谢了谷歌大脑中除了我之外的每一个人。

……大家看到Mikolov的长篇感言，也是百感交集。