用双筒望远镜发现 LLMs：机器生成文本的零样本检测
内容提要
本文综述大语言模型生成文本的检测研究，涵盖：中等规模模型训练的检测器可零样本推广至更大模型；贝叶斯代理方法降低查询成本；评估显示CopyLeaks最准确、GPTKit假阳性最低、GLTR最稳健；并提出针对代码的免训练检测方法及基于对数排名的检测方法，强调检测对负责任AI的重要性。
延伸解读
检测器的跨模型泛化能力
文章指出，用中等规模语言模型数据训练的神经检测器，能够零样本推广到更大版本的模型。这意味着检测器不必针对每个新模型重新训练，降低了部署成本。但需注意，这种泛化能力是在特定实验条件下观察到的，实际应用中仍需验证对未知模型架构的适应性。
查询效率与检测成本的权衡
基于贝叶斯代理模型的方法在低查询预算下表现更好，相比DetectGPT查询次数减少最多2倍，AUROC提高3.7%。这对需要频繁调用模型API的检测场景有实际意义，但该方法仍依赖对目标模型的查询访问，在完全黑盒或高成本环境下可能受限。
公开检测器的性能差异
评估8个公开检测器发现，CopyLeaks最准确，GPTKit假阳性最低，GLTR最稳健。这提示读者不能只看准确率，假阳性率低对避免误判人类文本至关重要，而稳健性则关系到对抗改写攻击时的可靠性。选择检测工具时应根据具体风险偏好权衡这些指标。
代码检测的特殊性与方法启示
针对代码的免训练检测方法发现，现有文本检测方法对代码效果不佳，可能源于代码独特的统计特性。该方法利用白盒代理模型估计最右侧标记概率，在多个数据集和模型上取得最新结果，并对修订攻击鲁棒。此外，较小的代码模型PolyCoder-160M作为通用检测器表现优于十亿级模型，说明模型规模并非决定检测性能的唯一因素。
Q&A
中等规模模型训练的检测器能直接用于检测更大模型生成的文本吗？
可以。研究发现，用中等规模语言模型生成的数据训练的神经检测器，能够零样本推广到更大版本的语言模型输出上，无需针对大模型重新训练。
有哪些方法可以减少机器文本检测的查询成本？
基于贝叶斯代理模型的检测方法能有效提高查询效率，在低查询预算下性能更好，相比DetectGPT查询次数最多减少2倍，AUROC提高3.7%。
公开的LLM文本检测器中，哪个最准确、哪个假阳性最低、哪个最稳健？
评估8个公开检测器后发现：CopyLeaks最准确，GPTKit在减少假阳性方面最佳，GLTR则是最稳健（弹性）的检测器。
针对LLM生成的代码，有什么有效的检测方法？
提出一种免训练的代码检测方法，通过修改零样本文本检测方法，利用代理白盒模型估计最右侧标记的概率来识别机器生成代码。在CodeContest和APPS的Python代码上对text-davinci-003、GPT-3.5和GPT-4取得最新结果，对修订攻击鲁棒，且对Java代码通用。
基于对数排名的检测方法有哪些？效果如何？
介绍了两种利用对数排名信息的无样本检测方法：DetectLLM-LRR（快速高效）和DetectLLM-NPR（更精确但需扰动）。实验证明它们分别比现有技术绝对提升3.9和1.75 AUROC点。
为什么检测机器生成文本对负责任AI很重要？
检测LLM生成文本是关键任务，需要开发检测器区分机器与人类文本，并呼吁加强研究以推进负责任的人工智能实现，同时关注开源威胁和误传信息问题。
