提升学术写作领域的 LLM-Synthetic 文本检测器的鲁棒性:一项综合分析
原文中文,约600字,阅读约需2分钟。发表于: 。我们提供了对大语言模型的生成文本影响的全面分析,并强调了当前最先进的 GPT 检测器中可能存在的鲁棒性缺失。为了解决学术写作中滥用大语言模型的问题,我们提出了一种基于参考文本的孪生检测器 Synthetic-Siamese,将一对文本作为查询和参考,该方法有效解决了以前检测器(OpenAI detector 和 DetectGPT)的鲁棒性缺失,并将基线性能在实际学术写作场景中提高了约 67% 至 95%。
本文提出了一种简单高效的解决方案,通过集成多个组成语言模型的预测来区分人工生成文本和人类作者文本。实验证明,该方法在生成文本分类上性能提升范围在0.5%到100%之间。研究还发现,替换商业限制的生成预训练变压器数据为其他开放语言模型生成的数据是可行的替代方法。此外,实验结果表明该集成方法可以有效处理新数据。