论文提出动态缩放激活引导(DSAS),一种与具体方法无关的框架,将“何时引导”与“如何引导”解耦。DSAS在生成时按层和输入自适应调整引导强度,仅在检测到不良行为时强力干预,并可与引导函数端到端联合优化。结合现有方法后,DSAS在毒性缓解与效用保持间取得更优权衡,还适用于文生图扩散模型,计算开销小且可解释性强。
LinEAS是一种新方法,通过全局损失训练激活引导,旨在控制生成模型的输出,减少有害内容。该方法仅需少量无配对样本,在语言模型的毒性缓解上表现优于传统方法,具有更强的鲁棒性和有效性。
本文介绍了可控文本生成技术的发展,重点在于通过新算法和框架(如DATG)实现对生成文本属性的精确控制。研究表明,该方法在毒性缓解和情感转换任务中显著提高了生成性能和文本流畅性,同时减少了困惑度。
本文介绍多项毒性检测与缓解研究:MinTox流水线在推理时用多模态分类器识别并减轻翻译中增加的毒性,在SEAMLESSM4T中滤除25%至95%的增加毒性且保持翻译质量;Moj Masti团队在混合代码恶性评论识别任务中夺冠;此外还有MuAViC多语言视听数据集、LifeTox隐含有害性数据集、ToxiGen大规模毒性数据集、阿拉伯语毒性数据集综述及多语言主题模型MuTo等成果。
该研究提出了Goodtriever方法,从全面的毒性缓解视角推理,实现了43%的相对延迟降低,更具计算效率。研究呼吁增加对适应性缓解技术的关注,以更好地反映模型在实际环境中面对的数据漂移问题。
完成下面两步后,将自动完成登录并继续当前操作。