Chain-of-Thought提示可以增强大型语言模型的推理能力，但现有方法效果不佳。为此，提出了CoTGenius框架来自动生成高质量提示，并创建了CoT数据集，对Llama 2-Chat模型进行微调，形成了ChainLM模型。为解决推理误差，提出了步骤级辩论方法，让多个辩论者讨论推理步骤。实验显示，ChainLM在复杂推理问题上表现出色，并分析了数据类别对性能的影响。数据集和代码已发布。

研究显示，随着大型语言模型的发展，非专家可以监督专家。通过辩论方法，非专家模型和人类的准确率分别提升到76%和88%。无监督优化的辩手也能提高非专家模型识别真相的能力。这为在缺乏绝对真实性的情况下，通过辩论对齐模型提供了支持。

大型语言模型的对齐方法依赖于人工标注数据，但随着模型发展，人类专业知识不足。研究发现辩论方法对非专家模型和人类都有帮助，准确率分别为76%和88%。无监督方式优化专业辩手的说服力可提高非专家模型在辩论中识别真相的能力。研究结果为通过辩论对齐模型提供了实证证据。

大型语言模型的对齐方法依赖于人工标注数据，但随着模型发展，人类专业知识不足。研究发现辩论方法对非专家模型和人类都有帮助，准确率分别为76%和88%。无监督方式优化专业辩手的说服力可提高非专家模型在辩论中识别真相的能力。研究结果为通过辩论对齐模型提供了实证证据。