数据不够致Scaling Law撞墙？CMU和DeepMind新方法可让VLM自己生成记忆
内容提要
AI 社区讨论 Scaling Law 遇到瓶颈，因高质量数据即将耗尽。CMU 和 DeepMind 提出的 ICAL 方法利用低质量数据和反馈，帮助 LLM 和 VLM 创建有效提示，改善决策。ICAL 强调认知抽象，提升模型在新任务中的表现，实验表明其在多模态任务中优于传统方法，减少对专家示例的依赖。
关键要点
-
AI 社区讨论 Scaling Law 遇到瓶颈，因高质量数据即将耗尽。
-
CMU 和 DeepMind 提出的 ICAL 方法利用低质量数据和反馈，帮助 LLM 和 VLM 创建有效提示，改善决策。
-
ICAL 强调认知抽象，提升模型在新任务中的表现，实验表明其在多模态任务中优于传统方法。
-
ICAL 通过学习上下文经验抽象，让 VLM 学习解决新任务，减少对专家示例的依赖。
-
ICAL 处理四种类型的认知抽象：任务和因果关系、对象状态的变化、时间抽象、任务建构。
-
ICAL 的抽象生成过程通过提示和人类反馈优化轨迹，提升模型的执行效果和抽象能力。
-
ICAL 在 TEACh 和 VisualWebArena 中测试表现优于固定演示，成功率显著提高。
-
ICAL 在视觉网络任务上获得 SOTA 性能，减少对专家示例的依赖，且随着示例数量增长表现提升。
延伸问答
Scaling Law 遇到的主要问题是什么？
Scaling Law 遇到的主要问题是高质量数据即将耗尽，预计到2028年已有的数据储量将被全部利用完。
ICAL方法是如何改善模型决策的？
ICAL方法通过利用低质量数据和人类反馈，帮助LLM和VLM创建有效提示，从而改善决策并减少对专家示例的依赖。
ICAL方法强调了哪些类型的认知抽象？
ICAL方法强调四种类型的认知抽象：任务和因果关系、对象状态的变化、时间抽象、任务建构。
ICAL在多模态任务中的表现如何？
ICAL在多模态任务中表现优于传统方法，成功率显著提高，尤其是在TEACh和VisualWebArena的测试中。
ICAL如何处理有噪声的轨迹？
ICAL通过提示和人类反馈优化有噪声的轨迹，提升模型的执行效果和抽象能力。
ICAL方法的优势是什么？
ICAL方法的优势在于显著减少对专家示例的依赖，并且随着示例数量的增长，模型表现持续提升。
