基于大型语言模型提取理由的可解释仇恨言论检测
内容提要
本研究探讨大型语言模型在恶意言论检测中的能力与局限，提出新框架HARE，通过推理能力和提示策略提升检测性能。研究表明，包含目标信息和解释能显著提高模型效果，同时指出模型在分类和解释上的薄弱点，需开发安全技术以增强其鲁棒性。
延伸解读
提示策略与信息注入的关键作用
文章指出，使用四种不同提示策略时，大型语言模型能有效检测恶意言论并超越基准机器学习模型。其中，将目标信息纳入流程可提升性能约20-30%，加入理由或解释可再提升约10-20%。这表明提示设计不仅影响模型调用知识库的效率，也直接决定检测效果，是实际应用中需要重点优化的环节。
HARE框架的推理与泛化优势
研究提出的HARE框架利用大型语言模型的推理能力，填补仇恨言论解释中的知识缺口。该方法使用模型生成数据，在多个数据集上持续优于基于人工注释的基线，并展现出对未见过数据集的泛化性能。这提示我们，模型生成的解释性数据可能成为提升检测系统适应性的有效途径。
模型薄弱点与安全风险
文章通过错误案例分类，揭示了大型语言模型在分类和解释上的薄弱点。这些薄弱点可自动构成越狱提示，使模型被诱导产生不当输出。因此，仅依赖模型自身能力不足以应对恶意言论检测中的对抗性风险，需要研发产业规模的安全技术来增强模型鲁棒性，这是落地前必须解决的挑战。
Q&A
大型语言模型在恶意言论检测中有哪些能力和局限？
大型语言模型能够有效检测恶意言论，超越当前基准机器学习模型，但在分类和解释上存在薄弱点。
HARE框架是如何提升仇恨言论检测性能的？
HARE框架通过推理能力和提示策略填补知识缺口，显著提高检测性能。
将目标信息和解释加入检测流程有什么效果？
将目标信息加入流程可提升模型性能约20-30%，而加入理由/解释可进一步提升约10-20%。
研究中提到的安全技术有哪些必要性？
需要研发安全技术以增强大型语言模型的鲁棒性，防止其在分类和解释上的薄弱点被利用。
研究中使用了哪些提示策略？
研究使用了四种不同的提示策略，以高效利用大型语言模型的知识库。
大型语言模型在检测恶意言论时的错误案例有哪些？
研究指出大型语言模型无法对决策进行分类和解释的错误案例，这些构成了模型的薄弱点。
