数据不够致Scaling Law撞墙？CMU和DeepMind新方法可让VLM自己生成记忆
内容提要
AI 社区讨论 Scaling Law 遇到瓶颈，因高质量数据即将耗尽。CMU 和 DeepMind 提出的 ICAL 方法利用低质量数据和反馈，帮助 LLM 和 VLM 创建有效提示，改善决策。ICAL 强调认知抽象，提升模型在新任务中的表现，实验表明其在多模态任务中优于传统方法，减少对专家示例的依赖。
关键要点
-
AI 社区讨论 Scaling Law 遇到瓶颈，因高质量数据即将耗尽。
-
CMU 和 DeepMind 提出的 ICAL 方法利用低质量数据和反馈，帮助 LLM 和 VLM 创建有效提示，改善决策。
-
ICAL 强调认知抽象，提升模型在新任务中的表现，实验表明其在多模态任务中优于传统方法。
-
ICAL 通过学习上下文经验抽象，让 VLM 学习解决新任务，减少对专家示例的依赖。
-
ICAL 处理四种类型的认知抽象：任务和因果关系、对象状态的变化、时间抽象、任务建构。
-
ICAL 的抽象生成过程通过提示和人类反馈优化轨迹，提升模型的执行效果和抽象能力。
-
ICAL 在 TEACh 和 VisualWebArena 中测试表现优于固定演示，成功率显著提高。
-
ICAL 在视觉网络任务上获得 SOTA 性能，减少对专家示例的依赖，且随着示例数量增长表现提升。
延伸解读
Scaling Law的挑战与ICAL的应对
随着高质量数据的逐渐耗尽，Scaling Law面临重大挑战。CMU和DeepMind提出的ICAL方法通过利用低质量数据和人类反馈，提供了一种新的解决方案。这种方法不仅能改善模型的决策能力，还能减少对专家示例的依赖，展现出在数据稀缺情况下的潜力。
ICAL的认知抽象能力
ICAL强调认知抽象，能够处理任务因果关系、对象状态变化等多种类型的抽象。这种能力使得模型在面对新任务时，能够更好地理解和适应环境，从而提升其执行效果。这一特性对于多模态任务尤其重要，能够有效提高模型的泛化能力。
实验结果的启示
在TEACh和VisualWebArena等测试中，ICAL的表现显著优于传统方法，成功率提升明显。这表明ICAL不仅在理论上具有优势，其实际应用中也能有效提升模型的性能，尤其是在处理未见过的任务时，展现出强大的适应能力和学习效率。
延伸问答
Scaling Law 遇到的主要问题是什么？
Scaling Law 遇到的主要问题是高质量数据即将耗尽，预计到2028年已有的数据储量将被全部利用完。
ICAL方法是如何改善模型决策的？
ICAL方法通过利用低质量数据和人类反馈，帮助LLM和VLM创建有效提示，从而改善决策并减少对专家示例的依赖。
ICAL方法强调了哪些类型的认知抽象？
ICAL方法强调四种类型的认知抽象：任务和因果关系、对象状态的变化、时间抽象、任务建构。
ICAL在多模态任务中的表现如何？
ICAL在多模态任务中表现优于传统方法，成功率显著提高，尤其是在TEACh和VisualWebArena的测试中。
ICAL如何处理有噪声的轨迹？
ICAL通过提示和人类反馈优化有噪声的轨迹，提升模型的执行效果和抽象能力。
ICAL方法的优势是什么？
ICAL方法的优势在于显著减少对专家示例的依赖，并且随着示例数量的增长，模型表现持续提升。
