该研究探讨了文本生成的评估问题,提出了 GENIE 系统和 FacTool 框架,以提高生成文本的质量和准确性。研究通过人类评估和新方法展示了生成文本在自然性和忠实性方面的优势,并提出了 FENICE 度量标准以解决摘要一致性问题。
研究人员提出了一种名为FENICE的基于自然语言推理和主张提取的事实性评估摘要度量方法,通过对齐源文件中的信息和从摘要中提取的一组原子事实来评估摘要的一致性。该方法设立了一个新的标杆,并通过人工注释扩展到了更具挑战性的环境中。
完成下面两步后,将自动完成登录并继续当前操作。