量子位
·
本想去谷歌捞一笔就跑，却成了改变AI历史的人｜Transformer作者对话Jeff Dean
💡
原文中文，约5200字，阅读约需13分钟。
📝
内容提要
Jeff Dean与Noam Shazeer回顾了谷歌25年的AI发展，讨论了推理算力的未来和模型架构的灵活性。他们认为AI算力相对便宜，未来将采用模块化架构，允许不同团队独立开发。Shazeer提到某些bug可能带来意想不到的积极效果，并分享了在谷歌的快乐时光及对AI潜在风险的担忧。
🎯
关键要点
- Jeff Dean与Noam Shazeer回顾了谷歌25年的AI发展历程。
- 他们讨论了推理算力的未来和模型架构的灵活性。
- AI算力相对便宜，未来将采用模块化架构，允许不同团队独立开发。
- 某些bug可能带来意想不到的积极效果，研究人员可以从中发现新突破。
- 推理算力Scaling还有很大空间，与AI对话比读书便宜100倍。
- 推理时间计算的重要性增加可能影响数据中心规划，需要定制硬件。
- Gemini 1.5已经开始使用多个大城市的计算资源进行异步训练。
- 异步训练可以提高整体性能，但可能导致模型参数波动。
- 记录操作日志可以确保异步训练结果的可重复性。
- 训练模型时的bug可能会产生正面影响，研究人员通过小规模实验快速验证假设。
- AI模型正在经历从单一结构向模块化架构的转变，未来将允许不同团队独立开发不同部分。
- 未来的模型将采用更有机的结构，通过蒸馏技术不断优化各个模块。
- 谷歌的AI不仅能检索信息，还能理解和生成复杂内容，未来想象空间巨大。
- Jeff Dean和Noam Shazeer分享了在谷歌的快乐时光和有趣经历。
- 他们对AI潜在风险表示担忧，尤其是AI可能进入不可控的加速改进循环。
❓
延伸问答
Jeff Dean和Noam Shazeer在对话中讨论了哪些AI技术的发展？
他们回顾了谷歌25年的AI发展，讨论了推理算力的未来、模型架构的灵活性以及异步训练等技术。
未来的AI模型架构将如何变化？
未来的模型将采用模块化架构，允许不同团队独立开发不同部分，以提高灵活性和效率。
推理算力的成本优势是什么？
与AI对话的成本比读书便宜约100倍，这为提升AI智能提供了空间。
训练模型时的bug可能带来什么影响？
某些bug可能会产生正面影响，帮助研究人员发现新的改进机会。
异步训练的优势是什么？
异步训练可以提高整体性能，允许模型副本独立计算，减少对持续通信的依赖。
Jeff Dean和Noam Shazeer对AI潜在风险有什么看法？
他们担心AI可能进入不可控的加速改进循环，导致超越人类控制的风险。
➡️
