倾听智慧的少数：用于多选问答的选择与复制注意力头

BriefGPT - AI 论文速递 · 2024-10-03T00:00:00Z

该研究通过改进查询-键分数和注意力分数，解决了大语言模型在多选题评估中的格式限制问题。采用特定选择与复制注意力头的方法，LLaMA2-7B模型的表现提升了16%，在简单数据集上的准确率接近完美，验证了方法的有效性。