本研究提出了“战斗编码器”,通过专家模型在竞技环境中相互挑战生成新训练数据,解决大型代码语言模型对高质量数据的依赖问题。实验结果表明,该方法在性能上具有竞争力,且不依赖专有模型。
AIxiv专栏促进了学术交流,报道了2000多篇关于代码语言模型(CodeLMs)的研究。CodeLMs在智能软件开发中应用广泛,但面临后门和对抗攻击等安全威胁。南京大学与南洋理工大学的研究团队对67篇相关文献进行了系统梳理,探讨了攻击与防御策略,强调了保障CodeLMs安全性的重要性。
本文介绍了稳定代码和稳定代码指令两个模型,它们是新一代的代码语言模型,用于完成代码补全、推理和软件工程任务。这两个模型在多语言编程基准和机器翻译方面展现了先进的性能。稳定代码是最先进的开放模型之一,性能与较大模型相当。稳定代码指令模型在编码任务和代码补全方面也展现了最先进的性能。文章还提供了模型在边缘设备上的吞吐量测量和性能指标对比。
RepoCoder是一个简单、通用且有效的框架,通过结合相似度检索器和预训练的代码语言模型简化存储库级代码完成流程,并在不同粒度级别生成代码。
Phi-1是一种新的大型代码语言模型,使用60亿个标记的数据和GPT-3.5合成生成的教材进行了为期4天的训练,具有13亿个参数。Phi-1在HumanEval和MBPP上的准确率分别为50.6%和55.5%,并展示了令人惊讶的emergent属性。
这篇论文总结了大型语言模型(LLMs)的最新发展,包括金融、多语言、生物医学和临床、视觉语言和代码语言模型。它还强调了聊天机器人和虚拟助手开发中的未解决问题,如增强自然语言处理、提升聊天机器人智能性以及解决道德和法律困境。
完成下面两步后,将自动完成登录并继续当前操作。