ACORN: 方面级常识推理解释评估

提出了一种利用自然语言解释对大型语言模型进行训练的方法，提高标注数据的质量。

基于大型语言模型的无监督数据注释方法优于众包注释方法。

发现人类分析师与大型语言模型在分类和推理能力上存在显著差异，但二者合作可能产生协同效应。

分析了大型语言模型的文本质量评估，发现自动思维链并不总是提高与人类评分的一致性。

大型语言模型可作为提取金融文档中关系的高效数据标注工具，并引入可靠性指标以识别需要专家关注的输出。

引入 CoAScore 评估系统，显著提高自然语言生成的评估质量。

研究大型语言模型在生成参考文献任务中的表现，提供关于自动引文生成任务可靠性的见解。

高质量的提示有助于提高语言模型的生成效果，且 GPT-3 在某些情况下能胜过人工生成的解释。

大型语言模型在论证质量评估中与人类专家具有适度高的一致性，可以作为自动化评估的有价值工具。

揭示了大型语言模型在数据标注方面的潜力及其存在的限制，如偏见和对提示变化的敏感性。