Context-Parametric Inversion: Why Instruction Fine-tuning May Not Actually Improve Context Dependence

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究探讨了大型语言模型在指令微调后上下文依赖性降低的现象。通过“上下文参数反演”,揭示了模型在微调初期依赖性上升但随后下降的趋势,并提出了一些缓解策略。

🏷️

标签

➡️

继续阅读