量子位
·
本想去谷歌捞一笔就跑，却成了改变AI历史的人｜Transformer作者对话Jeff Dean
💡
原文中文，约5200字，阅读约需13分钟。
📝
内容提要
Jeff Dean与Noam Shazeer回顾了谷歌25年的AI发展，讨论了推理算力的未来和模型架构的灵活性。他们认为AI算力相对便宜，未来将采用模块化架构，允许不同团队独立开发。Shazeer提到某些bug可能带来意想不到的积极效果，并分享了在谷歌的快乐时光及对AI潜在风险的担忧。
🎯
关键要点
- Jeff Dean与Noam Shazeer回顾了谷歌25年的AI发展历程。
- 他们讨论了推理算力的未来和模型架构的灵活性。
- AI算力相对便宜，未来将采用模块化架构，允许不同团队独立开发。
- 某些bug可能带来意想不到的积极效果，研究人员可以从中发现新突破。
- 推理算力Scaling还有很大空间，与AI对话比读书便宜100倍。
- 推理时间计算的重要性增加可能影响数据中心规划，需要定制硬件。
- Gemini 1.5已经开始使用多个大城市的计算资源进行异步训练。
- 异步训练可以提高整体性能，但可能导致模型参数波动。
- 记录操作日志可以确保异步训练结果的可重复性。
- 训练模型时的bug可能会产生正面影响，研究人员通过小规模实验快速验证假设。
- AI模型正在经历从单一结构向模块化架构的转变，未来将允许不同团队独立开发不同部分。
- 未来的模型将采用更有机的结构，通过蒸馏技术不断优化各个模块。
- 谷歌的AI不仅能检索信息，还能理解和生成复杂内容，未来想象空间巨大。
- Jeff Dean和Noam Shazeer分享了在谷歌的快乐时光和有趣经历。
- 他们对AI潜在风险表示担忧，尤其是AI可能进入不可控的加速改进循环。
➡️
