本研究探讨了利用大型语言模型（LLMs）控制物理机器人的挑战，提出了一种通过多LLMs进行自然语言沟通的新方法，使机器人在低频率下仍能展现丰富行为，提升性能并易于升级，具有人类对齐潜力。

本文探讨了大型语言模型（LLMs）与人类对齐的挑战，强调人类反馈强化学习（RLHF）的重要性。提出了SuperHF方法，结合监督微调和RLHF，以提升训练稳定性。同时研究了奖励模型的优化，提出奖励差异优化（RDO），以提高对人类意图的对齐效果。实验结果表明，该方法在自然语言处理任务中表现优异，克服了现有RLHF的局限性。