该论文评估大语言模型作为评判者评估个性化写作风格的能力:用四个模型完成三项长文写作任务,收集人类偏好标注并与模型评判对比。结果显示,评判质量与MMLU通用能力仅弱相关(ρ≤0.2),且随任务和标准变化;成对比较比独立打分更一致有效;最强模型未必最贴合人类判断,可能因对细节过度敏感。
完成下面两步后,将自动完成登录并继续当前操作。