本研究探讨大型语言模型(LLMs)如何处理文本位置,发现其注意力日志与位置相关性及语义重要性之间存在高度线性关系,为理解LLMs的内部机制提供了理论基础。
论文提出了一种新方法,通过“语义重要性投注”评估语言模型输出的语义重要性。人类评估者对文本进行投注,判断其意义。实验显示,该方法能揭示模型生成的流畅但语义不重要的文本,补充现有评估指标的不足。但方法的主观性和激励机制问题需进一步研究。
完成下面两步后,将自动完成登录并继续当前操作。