Steering Knowledge Selection Behaviors in Large Language Models via SAE-Based Representation Engineering

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本文提出了一种名为SpARE的无训练表征工程方法,旨在解决大型语言模型中的上下文与参数化知识冲突问题。通过利用预训练的稀疏自编码器,SpARE能够有效控制知识选择行为,从而在开放领域问答任务中显著提升模型性能。

🏷️

标签

➡️

继续阅读