量子位
·
一个「always」站在大模型技术C位的传奇男子
💡
原文中文，约5000字，阅读约需12分钟。
📝
内容提要
Noam Shazeer是AI领域的关键人物，参与了Transformer等核心技术的研发。他的研究成果《Attention Is All You Need》和MoE架构对现代大语言模型产生了深远影响。Shazeer的职业生涯始于谷歌，后创办Character.AI，最终回归谷歌，继续推动AI技术的发展。
🎯
关键要点
- Noam Shazeer是AI领域的关键人物，参与了Transformer等核心技术的研发。
- 他的研究成果《Attention Is All You Need》和MoE架构对现代大语言模型产生了深远影响。
- Shazeer的职业生涯始于谷歌，后创办Character.AI，最终回归谷歌，继续推动AI技术的发展。
- Shazeer在AI领域的贡献包括Adafactor优化器和Multi Query Attention等技术。
- 他在1994年国际数学奥林匹克竞赛中获得满分，展现出卓越的数学才能。
- 在谷歌期间，他参与了多个重要项目，包括谷歌搜索拼写纠正功能和广告系统的开发。
- Character.AI在2023年以10亿美元估值完成融资，但后续面临困境，最终被谷歌收购。
- Shazeer曾是OpenAI的顾问，推荐奥特曼担任CEO，并预测语言模型将主导全球算力。
❓
延伸问答
Noam Shazeer在AI领域的主要贡献是什么？
Noam Shazeer的主要贡献包括《Attention Is All You Need》论文、MoE架构、Adafactor优化器和Multi Query Attention等技术。
Shazeer如何影响现代大语言模型的发展？
Shazeer的研究成果为现代大语言模型奠定了基础，尤其是通过引入自注意力机制和MoE架构，推动了模型规模和性能的提升。
Shazeer的职业生涯经历了哪些重要阶段？
Shazeer的职业生涯始于谷歌，后创办Character.AI，最终回归谷歌，担任工程副总裁，参与Gemini项目的领导。
什么是MoE架构，它的意义是什么？
MoE架构是一种稀疏激活的混合专家模型，能够动态激活子网络，显著提高模型的参数规模和计算效率，对语言建模和机器翻译任务具有重要意义。
Shazeer在谷歌期间参与了哪些重要项目？
在谷歌期间，Shazeer参与了谷歌搜索拼写纠正功能、广告系统的开发，以及神经机器翻译的落地等多个重要项目。
Character.AI的融资情况如何？
Character.AI在2023年以10亿美元估值完成1.5亿美元融资，但随后面临困境，最终被谷歌以27亿美元收购。
🏷️
标签
➡️
