纬纱:创意写作的基础模型
内容提要
该文综述大语言模型在写作辅助中的研究:Weaver工具支持需求提取,帮助测试人员拓展概念;用户研究表明作家在规划、翻译、审阅中借助LLM,翻译审阅效果尤佳;LLM写作偏倚对学生反馈影响不显著;创意写作中LLM可作辅助,但创造力仍逊于人类,幽默表现不一;智能写作助手需融入社会因素,并可用LLM生成提示提升写作质量。
延伸解读
LLM写作辅助的适用场景
文章中的用户研究显示,专业作家在规划、翻译和审阅等认知活动中会寻求LLM帮助,其中翻译和审阅效果尤为突出。这表明当前LLM在写作辅助中的优势集中在语言转换和文本检查环节,而非完全替代人类的创意生成。读者可据此判断在哪些写作阶段引入LLM更可能获得实际收益。
创造力与幽默:人类仍占优势
基于Torrance创造性写作测试,LLM的创造力低于专业作者,且不适合作为写作创造力的评估者。在幽默表现上,商业模型分为能媲美人类和无法胜任两类。这说明LLM可辅助创意写作,但核心创意和幽默感仍需人类主导,读者应对LLM的创意输出保持审慎期待。
写作助手需融入社会因素
文章指出,仅关注信息内容的单一视角不足以构建有效的智能写作助手,需要融入社会因素以实现更个性化、用户体验更好的辅助。这提示开发者和使用者,写作不仅是信息传递,还涉及社会互动和个性化需求,忽略这些因素可能影响工具的广泛采用。
LLM偏倚对学生反馈影响有限
一项大规模用户研究发现,LLM在写作支持中存在的偏倚并不会对学生的写作反馈产生显著影响。这一结论有助于缓解对LLM偏倚直接损害学生反馈质量的担忧,但读者也需注意该结论基于特定研究情境,实际应用中仍需结合具体场景评估偏倚风险。
Q&A
Weaver工具在写作辅助中有什么作用?
Weaver工具支持需求提取,帮助测试人员发现更多、更多样化的概念,用于进一步测试,促使测试人员系统性地探索自己之外的概念,并帮助开发者定义更细粒度的应用场景。
专业作家在哪些认知活动中会寻求大型语言模型的帮助?
作家在规划、翻译和审阅等认知活动中都寻求LLMs的帮助,尤其在翻译和审阅方面LLMs更为有帮助。
大型语言模型在写作支持中的偏倚会对学生写作反馈产生显著影响吗?
不会。通过大规模用户研究发现,这些偏倚并不会对学生的写作反馈产生显著影响。
大型语言模型在创意写作中的创造力表现如何?
根据Torrance创意写作测试,LLMs的创造力低于专业作者,且LLMs无法有效评估写作创造力。在英语创意写作上,商业化最新语言模型在多个方面与人类作家相媲美,但创造力方面人类仍占优势,幽默方面则分为能媲美人类和无法胜任的两类。
智能写作助手为什么需要融入社会因素?
因为针对信息内容而忽略社会方面的单一视角存在局限,智能写作助手需要融入社会因素来建立更有效、更个性化的写作助手,以提高用户体验和促进用户的广泛采用。
如何利用大型语言模型生成提示来改进写作质量?
论文提出了一种新的计算方法,利用大型语言模型生成提示,以改进写作产品的质量,并通过两个案例研究分析了模仿和类比对于改进写作的影响。