本文讨论了训练大型语言模型的安全性问题，指出经过调优的模型容易生成有害内容。通过增加安全示例可以提高模型的安全性，但过度调优可能导致模型无法回应合理提示。研究揭示了训练语言模型时安全行为的权衡。

本文讨论了训练大型语言模型的安全性问题，指出经过调优的模型容易生成有害内容。通过增加安全示例可以提高模型的安全性，但过度调优可能导致模型拒绝回应不安全的提示。研究揭示了训练语言模型时安全性与表现之间的权衡。

本文提出了强调帮助而非安全性的模型安全性担忧，指出经过指示调优的模型高度不安全。研究发现，训练 LLaMA 等模型进行微调时，仅增加 3％ 的安全示例可以显著提高其安全性。过度的安全调优会使模型拒绝对表面上类似不安全的合理提示作出回应。