我有了 “答案”！问答中 LLMs 隐藏状态的解释
原文中文，约500字，阅读约需2分钟。发表于：。该研究调查了大型语言模型（LLMs）在基于知识的问答环境中的可解释性和可解释性，并提出隐藏状态可以区分正确和错误的模型行为的主要假设。通过测试量化模型 LLaMA-2-7B-Chat、Mistral-7B、Vicuna-7B 和 MuSeRC 问答数据集，分析结果支持所提出的假设。我们还确定了对模型行为产生负面影响的层次。作为假设在实际应用中的前景，我们建议对此类 “薄弱”...
该研究评估了大型语言模型在条件问答领域的能力和局限性。研究发现，微调的模型在某些情况下优于现有技术，但在抽取性问答方面落后于10个以上的点。研究强调了有效证据检索的重要性，并提出了改进训练任务和探索基于提示的技术以提高模型性能的未来工作的需求。
