未经我同意训练:检测编码包含在源代码训练模型中
原文中文,约500字,阅读约需2分钟。发表于: 。为解决通过训练集成员推理来检测大型语言模型(LLMs)中代码包含的版权问题,作者提出了一种新方法 TraWiC,该方法是一种适用于任何模型且可解释的检测代码包含的方法。在实验证明,TraWiC 可以检测到 83.87% 的用于训练 LLM 的代码,而普通的克隆检测工具 NiCad 只能检测到 47.64%。此外,TraWiC 在资源消耗方面较低。
本研究提出了一种对LLMs生成的代码进行训练无关的检测方法,通过修改零样本文本检测方法,利用代理的白盒模型来识别由语言模型生成的代码片段。实验结果表明该方法在多个模型上取得了最新的检测结果,并对修订攻击具有鲁棒性,对Java代码具有通用性。同时发现较小的代码语言模型PolyCoder-160M表现优于十亿级别的对应模型。