八位 Google 员工开创了现代 AI 的新纪元，揭秘他们的故事 [译]
内容提要
谷歌团队创造了一种名为“Transformers”的强大数字系统，被广泛应用于图形生成器和语言模型中。八位作者撰写了一篇论文介绍了技术原理和应用。该技术引起了广泛关注，并在谷歌及其他公司中得到应用。一些作者已离开谷歌，创办了自己的公司，继续推动技术发展。
延伸解读
Transformer 的诞生背景与团队协作
Transformer 的诞生源于谷歌内部对循环神经网络瓶颈的反思。Jakob Uszkoreit 提出自注意力机制，并说服同事共同探索。团队在 2017 年发表论文，八位作者贡献均等，名单随机排序，体现了真正的团队合作。这种多元背景和自由探索的环境是突破的关键。
技术突破与行业影响
Transformer 架构通过自注意力机制并行处理信息，在翻译任务上超越 LSTM，并成为 ChatGPT、Dall-E 等产品的基石。论文发表后引起广泛关注，但谷歌初期应用保守，OpenAI 等公司更快抓住机遇，推动了生成式 AI 的爆发。
作者离职与创业浪潮
所有八位作者已离开谷歌，创办了多家 AI 公司，如 Character AI、Cohere、Sakana AI 等，继续利用 Transformer 技术推动创新。这反映了 AI 领域人才流动活跃，也凸显了谷歌在商业化应用上的滞后。
谷歌的创新与挑战
谷歌为 Transformer 的诞生提供了自由探索的环境，但未能率先推出类似 ChatGPT 的产品。CEO 皮查伊认为观望策略有利，但批评者指出谷歌变得官僚化。如何在创新与商业化之间平衡，是谷歌面临的长期挑战。
Q&A
Transformers技术的主要应用是什么？
Transformers技术广泛应用于图形生成器和语言模型中，如ChatGPT、Dall-E和Midjourney等。
《Attention Is All You Need》论文的作者是如何决定作者顺序的？
论文的作者采用随机排序，并声明各贡献均等，打破了传统的作者排名做法。
自注意力机制在Transformers中有什么重要作用？
自注意力机制能够参考文章中的任意部分，提高翻译的准确性，使得模型处理信息更高效。
谷歌在2018年对Transformers技术的应用进展如何？
谷歌在2018年开始将Transformers技术集成到其产品中，但进展相对保守。
离开谷歌的Transformers作者们现在在做什么？
所有八位作者已离开谷歌，创办了自己的公司，继续推动Transformer技术的发展。
Transformers技术的创新氛围是如何形成的？
谷歌的创新氛围为Transformers的诞生提供了重要条件，团队成员的多元背景促进了创意的产生。
