Understanding Contextual Learning of Addition through Activated Subspaces
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究探讨了语言模型在上下文学习中提取少量示例信号的机制，提出了一种新优化方法，发现Llama-3-8B模型仅依赖三个注意力头，并通过自我校正机制提高学习准确性。
🏷️
