利用社会意识对比学习改善对话安全性
内容提要
本文综述对话系统安全研究，涵盖减少偏见与有害内容、构建安全回复的检索框架，以及ProsocialDialog、DiaSafety等数据集和检测方法。研究还涉及心理健康支持对话中的不安全回应检测，指出ChatGPT零样本检测不足，微调模型更适用，并探讨了人机交互中的鲁棒性学习。
延伸解读
对话安全研究的多维度进展
文章梳理了对话安全领域的多个研究方向，包括减少偏见与有害内容、构建安全回复的检索框架，以及开发ProsocialDialog、DiaSafety等数据集和检测方法。这些工作从不同角度应对对话系统中的安全挑战，如虐待内容、歧视、道德问题和隐私风险，体现了该领域研究的广泛性和深入性。
心理健康支持对话中的安全检测
针对心理健康支持对话，研究分析了BERT-base、RoBERTa-large和ChatGPT等模型在检测不安全回应上的表现。结果显示，ChatGPT在零样本和少样本范式中无法检测具有详细定义的安全类别，而经过微调的模型更加适用。这为实际应用中对话代理的设计和部署提供了重要参考。
人机交互中的鲁棒性学习
文章探讨了在人工交互对话中进行鲁棒性学习的方法，将对话分为有害（trolls）和有益（helpers）两类，并引入SafetyMix评估方法。研究表明，在该环境中基于用户的方法比基于样例的方法更为有效，这为提升对话系统在复杂交互中的安全性提供了新思路。
Q&A
对话系统安全研究主要关注哪些风险类型？
对话系统安全研究主要关注四类风险：1) 虐待和有毒内容，2) 不公平和歧视，3) 道德和伦理问题，4) 误导和隐私信息的风险。
ProsocialDialog数据集有什么特点？
ProsocialDialog是第一个大规模多轮对话数据集，用于教授对话代理在遵循社会准则的情况下回应不安全的用户话语。它包含58K个对话、331K条话语、160K个唯一的RoTs和497K个对话的安全标签，通过人工智能协作框架创建，并提出了对话安全检测模块Canary和社交感知对话代理Prost。
DiaSafety数据集解决了什么问题？
DiaSafety数据集针对人机对话中上下文敏感的不安全性问题，包含丰富上下文的不安全示例。实验证明现有安全保护工具严重失败，为此研究者训练了一个对话安全性分类器来提供上下文敏感对话不安全性检测的强大基线。
在心理健康支持对话中，ChatGPT检测不安全回应的效果如何？
在心理健康支持对话中，ChatGPT在零样本和少样本范式中无法检测具有详细定义的安全类别，而经过微调的模型（如BERT-base、RoBERTa-large）更加适用。
如何通过检索框架减少聊天机器人的安全问题和偏见？
使用基于检索的框架，利用上下文学习生成更安全的回复，通过检索相似对话框架中的安全模型回答来减少安全问题和偏见，该方法达到了相对理想的结果。
在人工交互对话中，哪种学习算法更鲁棒？
在人工交互对话中，将对话分为有害（trolls）和有益（helpers）两类，并引入SafetyMix评估方法测试学习算法的鲁棒性。结果表明，基于用户的方法比基于样例的方法更为有效。
