一种基于 LLM 的评估自动对抗叙事生成方法的排序方法

使用大型语言模型作为评估者，提出了一种对生成的反话进行评估的新方法，通过在锦标赛格式中对生成的反话进行成对比较，建立了一个模型排名流程，并与人类偏好达到了 0.88 的相关性。此外，通过细致的评估和性能分析，发现以聊天为导向的零 - shot 生成模型在此任务中是最佳选择，前提是它们不因安全问题而拒绝生成答案。