本研究探讨了机器学习算法在推理中对抗性输入的检测与缓解的关系,定义了“检测防御”和“缓解防御”。研究发现,在生成学习任务中,两者存在明显差异,某些情况下只能通过缓解实现防御,且缓解阶段所需样本显著少于初始训练样本。
本研究探讨了变压器架构在语言模型中的安全性缺陷,指出“代币民主”特性导致安全指令与对抗性输入之间的竞争,限制了有效对齐。现有对齐方法无法提供真正约束,使得经过安全训练的模型仍然容易受到攻击。
完成下面两步后,将自动完成登录并继续当前操作。