动态缩放激活引导
原文英文，约400词，阅读约需2分钟。
📝
内容提要
论文提出动态缩放激活引导（DSAS），一种与具体方法无关的框架，将“何时引导”与“如何引导”解耦。DSAS在生成时按层和输入自适应调整引导强度，仅在检测到不良行为时强力干预，并可与引导函数端到端联合优化。结合现有方法后，DSAS在毒性缓解与效用保持间取得更优权衡，还适用于文生图扩散模型，计算开销小且可解释性强。
🔎
延伸解读
动态缩放如何解决传统引导的痛点
传统激活引导方法对所有输入施加统一干预，当引导不必要时会损害模型性能。DSAS通过按层和输入自适应调整引导强度，仅在检测到不良行为时强力干预，从而在毒性缓解与效用保持间取得更优权衡。这种解耦“何时引导”与“如何引导”的设计，让现有引导方法能更精准地发挥作用。
DSAS的通用性与可解释性优势
DSAS不仅适用于语言模型，还能应用于文生图扩散模型，通过自适应引导调制特定概念。其计算开销小，且能 pinpoint 哪些 token 需要引导及引导强度，提升了可解释性。这种与具体方法无关的框架，可与引导函数端到端联合优化，为生成模型的行为控制提供了灵活工具。
❓
Q&A
动态缩放激活引导（DSAS）是什么？
DSAS是一种与具体方法无关的引导框架，它将“何时引导”与“如何引导”解耦，在生成时按层和输入自适应调整引导强度，仅在检测到不良行为时强力干预。
DSAS如何解决现有激活引导方法的问题？
现有方法对所有输入统一施加干预，在不需要引导时会降低模型性能。DSAS通过自适应调整引导强度，仅在检测到不良行为时强力干预，从而避免不必要的性能损失。
DSAS在毒性缓解和效用保持之间的权衡效果如何？
与现有引导方法结合后，DSAS持续改进帕累托前沿，在毒性缓解和效用保持之间取得更好的权衡。
DSAS可以应用于文本生成以外的任务吗？
可以，DSAS还适用于文生图扩散模型，能够通过自适应引导调节特定概念。
DSAS的计算开销和可解释性如何？
DSAS引入的计算开销极小，同时提高了可解释性，能够指出哪些token需要引导以及引导强度。
DSAS能否与现有的引导方法联合优化？
可以，DSAS能够与引导函数端到端联合优化。
🏷️
