大模型不只是语言能力，还是对广阔世界的理解
内容提要
这篇文章介绍了一种名为“Keypoint Action Tokens”（KAT）的框架，它利用现成的基于文本的Transformers模型，进行少量样本的视觉模仿学习。KAT框架在将视觉关键点观察转换成动作轨迹方面表现出色，性能与或优于现有技术。KAT为自然语言模型在任务中的重新应用提供了新途径。
延伸解读
KAT框架的核心创新
KAT框架的核心创新在于将预训练的文本Transformer模型重新用于视觉模仿学习，无需额外训练即可实现少量样本学习。它通过将视觉关键点观察和动作轨迹转换为令牌序列，利用Transformer的序列到序列能力，在视觉和动作领域表现出色，性能与或优于现有技术。这为自然语言模型在体现任务中的应用提供了新途径。
语言与智能的关系探讨
文章引发了对语言与智能关系的深入讨论。有观点认为语言是智能的基本组成部分，甚至主要组成部分；但也有观点指出语言只是智能的一部分，许多交流是非语言的，与直接经验和物理环境相关。LLM在模仿智能方面有局限性，如莫拉维克悖论所示，许多人类微不足道的自然现象却超出其能力范围。
对AGI的质疑与未来展望
文章对当前架构实现AGI持怀疑态度，认为由于数学方法的缺陷，Transfer架构不太可能实现通用人工智能。AGI和ASI概念模糊，对于科幻迷而言可能毫无意义。未来或许能获得真正的人工智能，但需先做好现有AI部分。这提醒读者理性看待大模型的能力边界。
Q&A
什么是Keypoint Action Tokens（KAT）框架？
KAT框架是一种利用现成的基于文本的Transformers模型进行视觉模仿学习的技术，能够将视觉观察转换为动作轨迹。
KAT框架在视觉模仿学习中有什么优势？
KAT框架在数据量较少的情况下表现出色，性能与现有技术相当或更优，并且对视觉干扰和背景变化具有鲁棒性。
KAT框架如何利用Transformers模型进行学习？
KAT框架将文本预训练的Transformer模型重新用于序列到序列的模仿学习，通过视觉输入映射到动作输出。
KAT框架的应用场景有哪些？
KAT框架展示了在日常任务中的应用，能够解决对象配置新颖的任务。
文章中提到的LLM与智能的关系是什么？
文章指出语言是智能的基本组成部分，但LLM在模仿智能方面存在局限性，因为它们依赖于算法而非主动学习。
未来实现真正的人工智能面临哪些挑战？
未来实现真正的人工智能面临数学方法的挑战，目前的Transfer架构不太可能实现AGI通用人工智能。
