错误的不同层次：仅与错误答案对齐的LLM
原文中文，约500字，阅读约需2分钟。发表于：。本研究解决了在缺乏可靠标注的情况下，如何利用错误答案拓展大型语言模型（LLM）的能力的难题。通过探索LLM在错误选项中的偏好生成能力并与这些偏好对齐，我们的实验证明，这种对齐不仅提高了模型的正确率，甚至改善了模型的校准性。
本文介绍了CodeUltraFeedback数据集，通过AI反馈优化语言模型的编码偏好。使用14个语言模型生成响应，并用LLM评估对齐性。提出CODAL-Bench基准，结果显示CodeLlama-7B-Instruct在对齐性上优于34B模型，验证了CodeUltraFeedback的实用性。优化后的CodeLlama在HumanEval+上的功能正确性也有所提升，为语言模型的编码偏好调整和代码智能发展奠定基础。
