2023年多项研究评估了ChatGPT与GPT-4:作为自然语言生成指标,其与人类判断的相关性达到最高或竞争水平,其中生成数字评分法最有效;在文本摘要评估中优于部分自动指标。ChatGPT能完成多种NLP任务,在需求分析、科学写作、编程、医疗等领域具有助手潜力,但法律科学表现不佳,可靠性受角色设定和对抗样例影响,学生写作辅助效果反而不如对照组。
该文综述大语言模型在自然语言生成评估、临床NLP、情感分析和社会科学标注等任务中的应用。微调GPT-3.5在方面级情感分析中F1达83.8,优于零样本方法;开源模型有利于隐私保护和复现;ChatGPT在摘要、简化等任务中表现领先,但自动指标与人工评价存在差距,GPT-4能较好对齐人类判断。
本文综述大语言模型研究,涵盖可解释性技术分类与评估、预训练模型进展与高效化方法、自然语言生成评估、心理健康应用风险,以及解释性推荐框架LLMXRec,并展望未来挑战与方向。
该文综述自然语言生成(NLG)评估研究,指出早期启发式指标难以满足多样NLG任务,需更准确的自动评估;介绍GEM基准、基于信息对齐的统一度量、GRUEN与RoMe等无需人工参考的指标,并讨论新知识生成基准ALCUNA、长文本LLM可信度分析框架LUNA,以及从图灵测试转向以语言习得为核心的评估框架。
完成下面两步后,将自动完成登录并继续当前操作。