大型语言模型中创造力的评估与理解
内容提要
该文综述大型语言模型在创意写作与评估中的应用。研究表明，LLM可辅助作家规划、翻译和审阅，但创意水平低于专业作者，评估写作创造力效果不佳。相关论文还探讨了LLM的评估方法、核心能力（推理、知识、可靠性、安全性）及推理偏见，并提出兼顾创造性与真实性的模型。
延伸解读
LLM在创意写作中的辅助定位
文章指出，LLM在创意写作中主要扮演辅助角色。实证用户研究发现，专业作家在规划、翻译和审阅等认知活动中会寻求LLM帮助，尤其在翻译和审阅方面效果更明显。但基于托兰斯创造性写作测试的评估显示，LLM的创意水平低于专业作者，且作为写作创造力的评估者效果不佳。这表明当前LLM更适合处理结构化、辅助性任务，而非独立生成高创意内容。
评估LLM创造力的多维框架
文章综述了LLM评估的多个维度，包括推理、知识、可靠性和安全性等核心能力。针对自然语言生成评估，有研究提出了基于LLM的评估指标分类法，并比较了不同方法的优劣。此外，LLM评估结果与人类专家在故事生成等任务上具有一致性，但LLM在演绎推理上表现出与人类不同的偏见，且性能受展示格式影响。这些发现提示，评估LLM创造力需结合多维度指标，并注意其独特认知局限。
创造性与真实性的平衡挑战
文章提到，有研究提出基于损失的数学抽象模型，旨在平衡LLM的创造性和真实性。这反映了创意写作中一个核心矛盾：过度追求新颖性可能牺牲事实准确性，而强调真实性又可能抑制创意表达。同时，LLM在创意产业中的社会影响也引发讨论，包括对作家职业的潜在冲击。未来研究需在技术层面探索更优的平衡策略，并关注其社会伦理影响。
Q&A
大型语言模型在创意写作中能提供哪些帮助？
根据一项用户研究，作家在规划、翻译和审阅等认知活动中会寻求大型语言模型的帮助，尤其在翻译和审阅方面，模型表现更为有用。
大型语言模型的创造力水平与专业作家相比如何？
基于托伦斯创造性写作测试，大型语言模型的创造力水平低于专业作家，并且作为评估写作创造力的工具效果不佳。
评估大型语言模型时通常关注哪些核心能力？
一篇综述论文总结了大型语言模型的四个核心能力：推理、知识、可靠性和安全性，并在此框架下整合相似任务以评估模型。
大型语言模型在演绎推理任务上的表现如何？
研究发现，被测试的大型语言模型在解决经典演绎推理问题上的能力有限，即使更改展示格式和内容，总体性能也未提高，且表现出与人类不同的推理偏见。
大型语言模型能否替代人类评估AI生成的文本？
一项研究探索了使用大型语言模型评估开放性故事生成和对抗性攻击任务，发现LLM的评估结果与人类专家的评估结果保持一致。
如何平衡大型语言模型在创造性写作中的创造性与真实性？
一篇论文提出了一种基于损失的数学抽象模型，用于平衡模型在生成创造性写作和问答系统等方面的创造性与真实性。
