xFinder：大型语言模型的稳健精确定位答案提取
内容提要
本文探讨了大型语言模型（LLMs）在信息提取和问答任务中的性能提升。研究表明，通过自动化框架和微调技术，模型在复杂文本（如金融报告）中的准确性显著提高。提出的SQS-Score评价方法更好地衡量输出与真实标签的一致性，强调了评估指标的重要性，并指出了当前模型在抽取性问答中的局限性。
延伸解读
评估指标对模型性能的影响
文章指出，传统评估指标如词汇匹配会显著低估模型真实性能，超过50%的失败归因于意义相当的答案。SQS-Score通过语义一致性衡量输出与真实标签，更受人类标注者偏好。这提醒研究者和开发者，在评估LLM时需采用更全面的框架，避免因指标缺陷而误判模型能力。
微调在专业领域信息提取中的价值
针对金融报告和德语商业文档等复杂文本，微调现有模型能显著提升信息提取准确性。例如，自动化金融框架在GPT-3.5和GPT-4上平均准确性分别提升53.94%和33.77%。这表明，在特定领域任务中，微调结合领域数据仍是提高LLM实用性的有效途径。
条件问答的进展与抽取式问答的局限
在条件问答任务中，微调后的LLM在是/否问题上EM和F1分数提升7-8点，甚至超越现有技术，但在抽取式问答上落后10点以上，且存在注入错误信息的风险。这揭示了LLM在不同问答类型上的性能不均衡，未来需改进训练任务和探索基于提示的技术。
Q&A
大型语言模型在信息提取任务中的表现如何？
大型语言模型在信息提取任务中表现出显著的性能提升，尤其是在复杂文本如金融报告中的数字提取方面。
什么是SQS-Score评价方法？
SQS-Score是一种评价方法，用于衡量输出结果与真实标签之间的语义一致性，发现其更受人类标注者的偏好。
微调对大型语言模型的影响是什么？
微调可以显著提高大型语言模型在特定任务中的表现，尤其是在条件问答任务中，某些情况下超越现有技术。
当前大型语言模型在抽取性问答中存在哪些局限性？
当前大型语言模型在抽取性问答方面表现不佳，通常落后于现有技术10个以上的点，并面临注入错误信息的风险。
如何提高大型语言模型在金融信息提取中的准确性？
通过使用自动化金融信息提取框架和微调技术，可以显著提高大型语言模型在金融信息提取中的准确性。
评估指标在模型性能评估中有多重要？
评估指标对模型性能评估至关重要，能够更全面地反映模型的实际表现，建议使用更全面的评估框架。
