InverseCoder: 发挥逆向指令调谐代码语言模型的能力与逆向指令实现
原文中文，约500字，阅读约需2分钟。发表于：。通过在自身生成的数据上 fine-tune，而非查询封闭源语言模型，进一步改进了指令调优的代码大型语言模型。借鉴正式语言和非正式语言翻译的错位现象，引入了 INVERSE-INSTRUCT，从代码片段中总结指令。通过代码概括和自我评估，改进了基于指令调优语言模型的性能，其通过 Python 文本生成代码、多语言编码以及数据科学代码生成等多个基准测试中展现了优异表现。
研究评估了10个开源指导式LLMs在代码理解和生成任务上的表现，发现它们在零样本和少样本设置下表现非常有竞争力。添加演示示例可以帮助提高指导式LLMs的性能，但有时会导致不稳定或更差的表现。BM25选样策略在生成问题上优于随机选样。微调可以进一步提高模型性能。指导式LLMs在微调后的性能优于小型SOTA模型和未进行指导微调的LLMs。研究提出了模型和使用建议、性能和成本的权衡以及未来方向的实用影响。
