CollabStory: 多 LLM 协作故事生成与作者分析
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
本研究通过实证用户研究探讨大型语言模型（LLMs）在协助专业作家中的应用，发现其在规划、翻译和审阅等方面尤为有效，尤其在翻译和审阅中表现突出。同时，研究强调了LLMs在创意写作辅助中的潜力及未来研究方向。
🔎
延伸解读
LLM在专业写作中的实际效用
这项用户研究（n=30）发现，专业作家在规划、翻译和审阅等认知活动中会寻求LLM帮助，其中翻译和审阅任务受益最明显。这表明当前LLM在辅助写作时，更擅长处理有明确标准的语言转换和文本检查，而非直接生成创意内容。对于写作者而言，可将LLM优先用于这些环节以提升效率。
多LLM协作的技术路径
文章提及一种标记级交替生成方法，通过潜在变量模型让基础LLM自动决定何时调用助理模型，无需直接监督。这种协作解码能融合各模型专长，在跨领域任务中表现优于单个模型，并呈现出模板填充等协作模式。这为构建多LLM故事生成系统提供了可借鉴的技术框架。
创意写作中的人类优势与评估挑战
相关研究显示，商业化LLM在英语创意写作的多个方面已能与人类作家媲美，但在创造力上人类仍占优势，幽默方面则表现不一。同时，开放式生成任务的评估标准不一致，协同评估流程CoEval通过LLM初步构思与人类审查结合，可提高长文本评估效率，但人类审查对确保可靠性仍不可或缺。
❓
Q&A
大型语言模型（LLMs）在专业作家中有哪些应用？
LLMs在规划、翻译和审阅等方面对专业作家提供帮助，尤其在翻译和审阅中表现突出。
研究中发现LLMs在创意写作中有哪些潜力？
研究强调了LLMs在创意写作辅助中的潜力，并指出未来的研究方向。
用户研究的样本量是多少？
本研究的用户样本量为30人。
LLMs在翻译和审阅方面的表现如何？
LLMs在翻译和审阅方面表现尤为突出，作家在这些活动中寻求其帮助。
未来研究方向主要集中在哪些方面？
未来研究方向主要集中在LLMs在创意写作辅助中的应用和潜力。
本研究的主要发现是什么？
本研究发现LLMs在协助专业作家方面的有效性，尤其是在翻译和审阅中。
🏷️
