π0.5的KI改进版——知识隔离：让VLM在不受动作专家负反馈的同时，输出离散动作token，并根据反馈做微调(而非冻结VLM)
内容提要
本文探讨了通过知识隔离和联合训练提升视觉-语言-动作模型（VLA）性能的方法。研究表明，传统训练方法导致知识损失和推理速度慢。作者提出的知识隔离技术有效保护预训练模型知识，同时使模型适应机器人控制任务，从而加快训练和推理速度。
关键要点
-
本文探讨通过知识隔离和联合训练提升视觉-语言-动作模型（VLA）性能的方法。
-
传统训练方法导致知识损失和推理速度慢。
-
知识隔离技术有效保护预训练模型知识，使模型适应机器人控制任务。
-
VLA模型需要高频率实时生成连续指令，传统的离散token解码不适合。
-
引入动作专家会显著损害训练速度和知识迁移效果。
-
知识隔离的核心思想是在微调VLM主干时，适配一个动作专家但不将其梯度反向传播到VLM主干。
-
这种方法使得模型学习速度更快且更稳定，同时实现快速推理。
-
通过联合训练，模型能够在通用视觉-语言数据上进行训练，减少知识损失。
-
作者提出的训练方案能够快速训练、保留VLM知识并支持高频率连续动作输出。
-
联合训练使用非动作数据集，确保模型在适配为VLA时知识损失更少。
-
停止动作专家与主干权重之间的梯度流，保护VLM的核心知识。
-
通过流匹配训练的动作专家的梯度可能对主干的训练动态产生不利影响。
-
作者建议停止动作专家到模型中预训练权重的梯度流，以保护VLM知识。
延伸解读
知识隔离的优势
知识隔离技术通过切断动作专家与VLM主干之间的梯度流，保护了预训练模型的核心知识。这种方法允许VLM在适应机器人控制任务的同时，继续学习和优化，从而提高了训练的稳定性和速度。与传统的冻结方法相比，知识隔离不仅保留了VLM的知识，还能有效应对新任务的挑战。
联合训练的必要性
联合训练使得模型能够在多种数据集上进行训练，减少了知识损失。这种方法通过同时进行自回归和流匹配动作预测，确保了模型在处理复杂任务时的高效性。尤其是在机器人控制领域，联合训练能够提升模型的泛化能力，使其更好地适应不同的操作环境。
动作专家的影响
引入动作专家虽然可以提升模型的实时控制能力，但如果不加以管理，可能会损害训练速度和知识迁移效果。因此，合理设计动作专家的训练机制至关重要。通过知识隔离，模型能够在不受动作专家负反馈影响的情况下，保持高效的学习和推理能力。
延伸问答
知识隔离技术的核心思想是什么？
知识隔离的核心思想是在微调VLM主干时，适配一个动作专家但不将其梯度反向传播到VLM主干。
传统训练方法对VLA模型的影响是什么？
传统训练方法导致知识损失和推理速度慢，影响模型的整体性能。
如何通过联合训练提升VLA模型的性能？
通过联合训练，模型能够在通用视觉-语言数据上进行训练，减少知识损失并实现快速推理。
引入动作专家对VLA模型的训练速度有何影响？
引入动作专家会显著损害训练速度和知识迁移效果。
知识隔离如何保护VLM的核心知识？
知识隔离通过切断动作专家与主干权重之间的梯度流，保护VLM的核心知识不受干扰。
VLA模型需要满足哪些控制需求？
VLA模型需要高频率实时生成连续指令，以适应机器人控制任务。
