ShieldLM: 强化 LLM 为一致、可定制和可解释的安全检测器
内容提要
清华大学提出基于大语言模型的安全检测器ShieldLM，遵循通用人类安全标准，支持定制检测规则并解释决策。研究在14,387个双语查询-响应对上训练，在四个测试集上超越强基准，展现出色可定制性和可解释性，可作为先进语言模型的安全评估器，代码已开源。
延伸解读
安全检测的定制化与可解释性
ShieldLM 的核心优势在于支持可定制的检测规则，并能解释其决策。这意味着用户可以根据自身需求调整安全标准，而不仅仅是依赖通用规则。同时，解释性功能有助于理解模型为何将某些内容标记为不安全，提升了检测过程的透明度。这种设计让安全检测更灵活，也更容易被信任和调试。
训练数据与性能表现
研究使用了包含 14,387 个查询-响应对的双语数据集进行训练，并在四个测试集上超越了强基准。这表明 ShieldLM 在安全检测任务上具有较好的泛化能力。双语数据也暗示其可能适用于中英文场景，但文章未提及其他语言的支持情况。
实际应用中的评估器角色
除了标准检测数据集，ShieldLM 还被证明可作为先进语言模型的安全评估器。这意味着它不仅能检测单一响应，还能用于评估其他 LLM 的输出安全性。这种应用场景扩展了其价值，为 LLM 安全性的持续改进提供了工具支持。
开源与可复现性
ShieldLM 的代码已在 GitHub 上开源，这有助于研究人员复现结果并在此基础上进行改进。开源也促进了安全检测领域的协作，但文章未提及模型权重或数据集的公开情况，实际使用前需确认可用资源。
Q&A
ShieldLM是什么？它有什么主要特点？
ShieldLM是一种基于大型语言模型的安全检测器，它遵循通用的人类安全标准，支持可定制的检测规则，并能解释其决策。
ShieldLM的训练数据规模有多大？
ShieldLM在包含14,387个查询-响应对的大型双语数据集上进行训练。
ShieldLM在哪些测试集上进行了评估？表现如何？
ShieldLM在四个测试集上进行了评估，并超越了强基准，展示了出色的可定制性和可解释性。
ShieldLM在实际应用中有哪些用途？
ShieldLM可以作为先进语言模型的安全评估器，在实际应用中有效评估语言模型的安全性。
ShieldLM的代码是否开源？在哪里可以获取？
是的，ShieldLM的代码已在GitHub上开源，地址是https://github.com/thu-coai/ShieldLM。
ShieldLM支持定制检测规则吗？如何实现？
是的，ShieldLM支持可定制的检测规则，用户可以根据自己的安全标准调整检测规则，并且ShieldLM会提供决策解释。
