本研究探讨了语言模型在上下文学习中提取少量示例信号的机制，提出了一种新优化方法，发现Llama-3-8B模型仅依赖三个注意力头，并通过自我校正机制提高学习准确性。

Understanding Contextual Learning of Addition through Activated Subspaces
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证