CleanGen：针对大型语言模型中生成任务的反后门攻击
内容提要
本文探讨了生成式大规模语言模型（LLMs）中的后门攻击问题，提出了覆盖式监督微调（OSFT）和模拟消除（SANDE）方法，以增强模型的安全性。研究表明，后门攻击对自然语言生成系统构成威胁，并提出了多种防御策略，强调了定制化语言模型的脆弱性。呼吁在发布开源模型前进行更全面的安全测试。
延伸解读
后门攻击的多样性与隐蔽性
文章列举了多种后门攻击方式，包括基于样式的触发器、指令后门、无触发器攻击等。这些攻击各具特点：基于样式的触发器通过自动插入多样化样式实现，指令后门针对定制化模型，无触发器攻击则利用正确标签的干净样本，更难防御。攻击者仅需少量毒化数据（如1%的样本）即可成功，凸显了LLMs在生成任务中的脆弱性。
防御策略的演进与挑战
针对后门攻击，文章提出了多种防御方法，如覆盖式监督微调（OSFT）和模拟消除（SANDE）两阶段框架，可去除已知和未知触发器的影响；Chain-of-Scrutiny（CoS）通过审查推理过程防御回溯攻击；REACT作为基线防御机制缓解基于样式的攻击。这些策略各有侧重，但攻击的隐蔽性和多样性仍对防御构成挑战，需要持续研究。
代码生成安全与SecuCoGen数据集
文章指出，代码LLMs因训练数据来自未经筛选的开源代码库，可能传播安全漏洞。为此，研究者提出SecuCoGen数据集，用于评估和增强代码LLMs的安全性能。研究发现现有模型常忽视安全问题，且在修复漏洞代码方面存在不足，某些漏洞类型对模型构成挑战。该数据集有望推动更安全、可信的模型部署。
开源模型发布前的安全测试呼吁
多项研究强调，在发布开源大型语言模型前需进行更全面的安全测试和红队测试。例如，通过改变文本生成策略的攻击可使模型对齐率从0%提升至95%以上，而仅用1%数据即可毒化模型。这些发现呼吁开发者在模型发布前加强安全评估，采用更好的对齐方法，以降低后门攻击风险。
Q&A
什么是覆盖式监督微调（OSFT）？
覆盖式监督微调（OSFT）是一种增强生成式大规模语言模型安全性的方法，通过有效去除已知和未知触发器引起的不良数据映射。
后门攻击对自然语言生成系统的威胁是什么？
后门攻击可能嵌入恶意指令，导致定制化语言模型输出攻击者所需的结果，从而对系统安全构成严重威胁。
如何有效防御后门攻击？
可以通过覆盖式监督微调（OSFT）、模拟消除（SANDE）和Chain-of-Scrutiny（CoS）等方法来有效防御后门攻击。
定制化语言模型的脆弱性表现在哪些方面？
定制化语言模型容易被嵌入后门指令，且在精调阶段使用少量数据样本就能成功毒化，显示出其安全性不足。
什么是BGMAttack？
BGMAttack是一种基于生成模型的攻击方法，能够有效欺骗文本分类器，并在攻击时表现出更高的隐蔽性。
SecuCoGen数据集的目的是什么？
SecuCoGen数据集旨在评估和增强代码生成大型语言模型的安全性能，帮助识别和修复安全漏洞。
