实时动作分块RTC——为解决高延迟，让π0.5也可以点燃火柴、插入网线：执行当前动作分块时生成下一个分块，且已执行的冻结 未执行的则补全
💡
原文中文，约5500字，阅读约需14分钟。
📝
内容提要
本文介绍了physical intelligence公司推出的实时动作分块技术，旨在提升视觉-语言-动作模型（VLA）的实时控制能力。该技术通过异步机制和修复方法，解决了模型推理延迟和动作不连贯的问题，使机器人能够更精确地执行复杂任务。
🎯
关键要点
- physical intelligence公司推出了实时动作分块技术，提升了视觉-语言-动作模型的实时控制能力。
- 该技术通过异步机制和修复方法解决了模型推理延迟和动作不连贯的问题。
- 实时动作分块技术使得机器人能够更精确地执行复杂任务，如点燃火柴和插入网线。
- 模型在执行先前动作的同时思考未来动作，以应对实时环境中的变化。
- 动作分块技术在灵巧操作领域取得了许多成果，但仍存在延迟问题。
- 作者提出的实时分块(RTC)方法旨在生成一致且连续的控制信号。
- 实时执行的关键挑战在于保持各分块之间的连续性，确保新分块与前一个分块兼容。
- 作者将实时分块问题视为修复问题，通过冻结前缀动作来保证一致性。
- 引导权重裁剪和软掩码的使用提升了跨片段的连续性，确保新分块能够采用一致的策略。
➡️
