谷歌DeepMind在ICML 2023上的最新研究
内容提要
第40届国际机器学习会议（ICML 2023）将于7月23日至29日在夏威夷举行，汇聚全球AI研究者分享新进展。Google DeepMind将展示超过80篇新论文，探讨AI安全性、适应性和效率，研究包括开发可适应新问题的AI代理AdA，以及强化学习中的奖励假设。会议还关注如何在现实世界中训练AI系统，以应对复杂挑战，推动AI工具的实际应用。
延伸解读
从模拟到现实：AI代理的适应性突破
文章重点介绍了AI代理AdA，它能在模拟环境中像人类一样快速适应新问题，例如组合物体、穿越陌生地形和与其他玩家合作。这体现了AI从单一任务向通用能力的发展，为未来在现实世界中部署更灵活的AI工具奠定了基础。同时，利用视觉语言模型训练具身代理，如通过告诉机器人它在做什么，展示了多模态模型在机器人领域的应用潜力。
强化学习的理论基石：奖励假设的再审视
文章提到DeepMind的研究旨在解决Richard Sutton提出的奖励假设，即所有目标都可视为最大化预期累积奖励。研究明确了该假设成立的条件，并澄清了在一般强化学习问题中，哪些目标能被奖励捕捉，哪些不能。这有助于理解强化学习系统的能力边界，对设计安全可靠的AI具有重要意义。
应对现实挑战：不确定性下的长期策略与约束训练
为了在现实世界中部署AI，系统需要具备鲁棒性。文章介绍了在约束条件下训练强化学习算法的方法，因为AI工具常因安全和效率而受限。此外，获得ICML 2023杰出论文奖的研究探讨了在不确定性和不完全信息博弈中，如何教模型复杂的长期策略，甚至能在不知道对手位置和可能移动的情况下赢得双人游戏。
提升AI的适应性与推理能力：可塑性、上下文学习与新型RNN
文章探讨了神经网络的可塑性及其在训练中可能丢失的问题，并提出了防止丢失的方法。同时，通过研究在统计特性自发变化的数据源上元训练的神经网络，有助于解释大语言模型中出现的上下文学习。此外，还介绍了一类新的循环神经网络（RNN），在长期推理任务上表现更优，有望释放这些模型在未来应用中的潜力。
Q&A
ICML 2023会议的主要议题是什么？
ICML 2023会议主要探讨AI的安全性、适应性和效率，特别是在现实世界中的应用。
Google DeepMind在会议上展示了哪些研究成果？
Google DeepMind在会议上展示了超过80篇新论文，研究包括AI代理AdA和强化学习中的奖励假设等。
什么是AI代理AdA，它的功能是什么？
AI代理AdA能够在模拟环境中适应并解决新问题，像人类一样完成复杂任务。
强化学习中的奖励假设是什么？
奖励假设认为所有目标都可以视为最大化期望累积奖励，研究探讨其适用条件。
如何提高AI系统在现实世界中的鲁棒性？
通过在约束条件下更好地训练强化学习算法，以确保AI工具的安全性和效率。
神经网络的可塑性在训练过程中如何影响性能？
神经网络的可塑性可能在训练过程中丧失，研究探讨了防止这种损失的方法。
