Jeff Dean离职后首次公开访谈火力有点猛。。。
内容提要
Jeff Dean在斯坦福访谈中谈及离开谷歌创业的原因，强调小团队能极致聚焦。他回顾Gemini开发，认为多模态决策成功但编码能力重视不足；反思TensorFlow设计缺陷。新公司Discovery Loop专注科学和工程自动化，推动递归自我改进，加速实验循环。他还分享科研原则：快速浏览论文、连接想法、用数量级估算判断可行性，并讨论AI在网络安全中的双刃剑效应。
延伸解读
小团队优势与基础设施依赖
Jeff Dean认为，小团队能极致聚焦，绕开大组织的干扰。他特别指出，云计算和大规模机器学习算力的普及，使小团队无需自建基础设施，可依赖谷歌等云服务商。这反映了当前AI创业门槛降低的趋势，但同时也意味着新公司对云平台的依赖可能成为潜在风险。
Gemini开发的经验与反思
Jeff Dean回顾Gemini开发，认为从一开始就构建多模态模型是成功决策，但承认对编码能力的重视不足。他强调编码能力对推理系统的重要性，并指出提升编码能力可迁移至其他任务。这提示AI开发者应平衡多模态与编码能力的发展，避免偏科。
TensorFlow的设计教训
Jeff Dean反思TensorFlow早期设计，指出缺少Eager Execution模式以及contrib子目录导致社区混乱。他认为应保持核心简洁，将扩展功能作为外部库。这为框架设计提供了借鉴：简洁核心与清晰扩展机制有助于生态健康发展。
递归自我改进与科学自动化
Jeff Dean强调递归自我改进的重要性，并介绍新公司Discovery Loop致力于自动化科学和工程实验循环。他设想通过模型调度多Agent系统，加速实验并提升质量。这反映了AI在科研自动化领域的潜力，但实现仍需克服技术挑战。
Q&A
Jeff Dean为什么离开谷歌创业？
Jeff Dean离开谷歌创业是因为他认为小团队可以极致聚焦，所有人都围绕同一个使命工作，能够避开大型组织中的干扰。同时，云计算的发展使得小团队也能利用大规模算力，不需要自己搭建基础设施。
Jeff Dean在Gemini开发中最后悔的是什么？
Jeff Dean认为在Gemini开发中，对编码能力的重视稍微晚了一点。他后来意识到编码能力很重要，因为提升编码能力通常也会提升模型的推理能力，并迁移到其他任务。
Jeff Dean对TensorFlow的设计有哪些反思？
Jeff Dean反思了TensorFlow的两个设计问题：一是最初没有加入Eager Execution模式，后来在PyTorch和JAX中流行后才加入；二是开源时建立的contrib子目录导致社区混乱，同一件事有十种不同做法。他认为应该保持核心简洁，将扩展作为外部库。
Jeff Dean如何看待递归自我改进？
Jeff Dean认为递归自我改进是重要方向，用机器学习改善机器学习已探索多年，如Neural Architecture Search和Evolved Transformer。他相信未来构建模型的各个环节（数据、评估、架构）都能自动化，形成持续优化的循环。
Jeff Dean的新公司Discovery Loop具体做什么？
Discovery Loop旨在通过机器学习和自动化加速科学和工程发现。初期聚焦少数领域，构建理解多领域的模型，调度Agent解决子问题，并加速实验循环，使实验从一天缩短到一分钟，同时运行成千上万次实验。
Jeff Dean有什么科研和工程原则？
Jeff Dean建议快速浏览多篇论文而非精读，以连接不同想法；用数量级估算判断可行性；寻找需要新方法且开始变得可行的问题，而不是太早或太工程化的问题；多尝试可能失败的事情。
Jeff Dean如何看待AI在网络安全中的影响？
Jeff Dean认为AI在网络安全中是双刃剑：既能帮助发现和修补漏洞，也可能被恶意利用。他承认这值得担忧，可能需要法律和监管等非技术手段来限制模型的不当使用。
