大型语言模型中的有毒提示高效检测
内容提要
该研究创建了RealToxicityPrompts数据集，探讨预训练神经语言模型生成有毒文本的能力。研究表明，合理的数据选择和提示工程对毒性检测至关重要。大型语言模型在有毒内容分类和检测任务上表现良好，并提出了改进模型性能的策略。
延伸解读
毒性检测的数据集演进
文章梳理了多个关键数据集：RealToxicityPrompts（2020年）用于评估预训练语言模型生成有毒文本的能力；ToxiGen（2022年）包含274k毒性和良性陈述，覆盖13个少数群体，能检测更微妙的暗含毒性；RTP-LX（2024年）涵盖28种语言，用于多语境评估。这些数据集逐步扩展了毒性检测的覆盖范围和语言多样性，为模型评估提供了更全面的基础。
提示工程对检测性能的影响
研究发现，在提示中包含目标群体信息可显著提高模型性能约20-30%，加入理由或解释能进一步提升约10-20%。这表明，合理的提示设计能有效激发大型语言模型的检测能力。此外，ChatGPT的毒性输出依赖于提示的任务、领域、长度和语言，例如创意写作任务更易引发有毒反应，德语和葡萄牙语提示会使毒性加倍。
模型局限与安全挑战
尽管大型语言模型在毒性分类和检测任务上表现良好，但在多语境下仍难以辨别微小攻击和偏见等微妙有害内容。错误案例可自动构成越狱提示，需要产业规模的安全技术来增强模型对抗此类提示的能力。TET数据集（2024年）通过手工设计的提示抵消模型保护层，揭示了正常提示下可能隐藏的毒性，凸显了模型行为中更微妙的问题。
Q&A
RealToxicityPrompts数据集的目的是什么？
RealToxicityPrompts数据集旨在探讨预训练神经语言模型生成有毒文本的能力。
如何提高大型语言模型在毒性检测中的性能？
提供目标信息和理由/解释可以显著提高模型性能，约20-30%的提升。
ToxiGen数据集包含哪些内容？
ToxiGen数据集包含274k毒性和良性陈述，覆盖更广的暗含毒性文本。
大型语言模型在有毒内容分类任务上的表现如何？
大型语言模型在有毒内容分类和检测任务上表现良好，甚至在某些情况下优于特定任务训练的模型。
BD-LLM提出了什么新方法来提高毒性检测的准确性？
BD-LLM利用Bootstrapping和Distilling技术提取高质量的rationales，以提高毒性内容检测的准确性。
在多语境下评估语言模型的有害内容检测能力时发现了什么问题？
在多语境下，语言模型在微小攻击和偏见内容的检测上存在困难。
