ANLS*- 生成式大语言模型通用文档处理度量
内容提要
该文综述大语言模型在自然语言生成评估、临床NLP、情感分析和社会科学标注等任务中的应用。微调GPT-3.5在方面级情感分析中F1达83.8，优于零样本方法；开源模型有利于隐私保护和复现；ChatGPT在摘要、简化等任务中表现领先，但自动指标与人工评价存在差距，GPT-4能较好对齐人类判断。
延伸解读
微调与提示工程的权衡
文章指出，在方面级情感分析任务中，微调GPT-3.5取得了83.8的F1分数，优于零样本方法，但模型参数增加了1000倍，推理成本也显著上升。同时，在零样本和少样本场景下，详细提示能提升性能，但对微调模型并非必要。这提示实践者需根据任务需求和资源条件，在提示工程与微调之间做出选择。
开源模型在隐私与复现上的优势
针对社会科学标注任务，文章强调专有模型存在复现性和隐私问题，主张采用可在独立设备上运行的开放模型。研究评估了多种开源模型在不同提示策略下的表现，结果表明需要仔细验证和定制提示工程。开源模型在数据隐私和再现性方面具有明显优势，适合对数据安全要求高的场景。
自动评估与人工判断的差距
文章通过混合评估发现，ChatGPT在摘要、简化等任务中多数指标领先，但经典自动评估指标得分较低。人工评估员认为黄金参考指标比最佳模型输出差，表明许多流行基准质量不高。GPT-4能在特定任务上以较小变异性对模型输出排名，与人类判断趋于一致，但在语法错误纠正任务中一致性较低。
Q&A
微调GPT-3.5在方面级情感分析任务上的表现如何？
微调的GPT-3.5在SemEval-2014任务4的联合方面术语提取和极性分类任务上获得了83.8的最优F1分数，比InstructABSA提高了5.7%，但模型参数增加了1000倍，推理成本也增加了。
在社会科学标注任务中，使用开源大语言模型有哪些优势？
开源模型可以在独立设备上运行，有利于数据隐私保护和再现性，避免了专有模型面临的限制再现性和隐私问题。
ChatGPT在文本摘要、简化等任务中的表现如何？
ChatGPT在大多数指标上始终优于其他流行模型，但使用经典的自动评估指标时，得分要低得多。人工评估员评价黄金参考指标比最佳模型输出差得多，表明许多流行基准的质量较低。
GPT-4在评估模型输出时与人类判断的一致性如何？
GPT-4能够在特定任务的变异性较小的情况下，对模型输出进行排名，与人类判断趋于一致，但在语法错误纠正任务中的排名一致性较低。
在零样本和少样本环境中，详细提示对模型性能有何影响？
在零样本和少样本环境中，详细提示可以提高性能，但对于微调模型来说并非必要。
Eval4NLP 2023共享任务中，最佳系统的表现如何？
在没有fine-tuning的限制下，最佳系统的表现与使用更大模型开发的最新的无参考度量标准（包括GEMBA和Comet-Kiwi-XXL）相媲美甚至超过，并对LLMs的解释的可行性进行了小规模人类评估。
