DolphCoder: 用多目标指令调整为特征的大型语言模型进行回声定位编码
内容提要
该文综述代码大模型指令微调进展，涵盖CoDI-Eval基准评估约束遵循、CodeOcean数据集与WaveCoder模型、WizardCoder的Evol-Instruct代码生成、InstructCoder代码编辑、CodeT5+统一预训练、MoTCoder模块化分解提升正确率、RLCF编译器反馈增强可执行性，以及开源指令模型在代码任务中的表现与选样策略。
延伸解读
代码大模型指令微调的关键进展
文章梳理了代码大模型指令微调的多项进展：CoDI-Eval基准评估约束遵循能力，CodeOcean数据集和WaveCoder模型增强指令调优，WizardCoder通过Evol-Instruct提升代码生成，InstructCoder探索代码编辑，CodeT5+统一预训练，MoTCoder模块化分解提升正确率，RLCF利用编译器反馈增强可执行性。这些工作共同推动了代码相关任务的性能提升。
开源与闭源模型的差距与选样策略
CoDI-Eval揭示了开源与闭源LLM在遵循指令约束方面存在显著差距。此外，对10个开源指令LLM的评估发现，零样本下指令LLM具有竞争力，但并非越大越好；少样本下演示示例能提升表现，但可能导致不稳定；基于BM25的选样策略在生成问题上优于随机或固定选样。这些发现为模型选择和使用提供了实用参考。
多模态指令调优的局限与未来方向
文章还分析了多模态指令调优方法，评估了其在复杂推理、对话、图像字幕等任务中的性能，揭示了架构选择的关键见解。然而，当前方法存在局限性，未能充分解决丰富多样的多模态指令数据集的需求以及生成响应的真实性和事实性问题。这些发现为研究人员和实践者提供了有价值的指导，并指出了未来改进的方向。
Q&A
CoDI-Eval 基准测试主要评估什么？
CoDI-Eval 是一个新的基准测试，用于系统和全面评估大型语言模型对带有各种约束的指令的响应，揭示了它们在按照特定约束执行指令方面的局限性以及开源与闭源模型之间的显著差距。
CodeOcean 数据集和 WaveCoder 模型有什么关系？
CodeOcean 是一个包含 20,000 个指令实例的数据集，用于增强指令调优；WaveCoder 是基于该数据集进行精调的 Code LLM，实验验证其在不同代码相关任务上具有较好的泛化能力。
WizardCoder 使用了什么方法提升代码生成能力？
WizardCoder 利用 Evol-Instruct 方法将复杂的指令微调应用于代码领域，在四个主要代码生成基准上超越所有其他开源 Code LLMs，并在 HumanEval 和 HumanEval+ 上表现优异。
InstructCoder 数据集用于什么任务？
InstructCoder 数据集用于探索用户指令下的代码编辑，涵盖评论插入、代码优化和代码重构等多个隐含任务。实验证明，在 InstructCoder 上精调开源 LLMs 能大多数情况下正确编辑代码。
MoTCoder 框架如何提升代码生成正确率？
MoTCoder 通过模块化指导下的任务分解方法，培育和利用子模块，显著提高生成解决方案的模块化程度和正确性，在 APPS 和 CodeContests 上相对 pass@1 指标分别提升 12.9% 和 9.43%。
RLCF 如何提高自动生成代码的可执行性？
RLCF 通过反馈机制在大型语言模型中引入编译器和参考程序的验证，提高了自动生成代码的正确性和可执行性，实验表明 RLCF 提升了 LLMs 在 Java MBJP 和 MathQA 任务中的表现。
开源指令式 LLMs 在代码任务中的表现有哪些主要发现？
主要发现包括：零样本设置下，指令式 LLMs 在代码理解和生成任务上非常有竞争力，有时甚至优于小型 SOTA 模型；并非越大的模型表现越好；少样本设置下，演示示例能大幅帮助模型，但有时会导致不稳定或更差表现；基于 BM25 的选样策略在生成问题上明显优于随机或固定选样；微调可进一步提升性能，且微调后的指令式 LLMs 优于小型 SOTA 模型和未指令微调的相似规模 LLMs。
