清华唐杰团队新作：一口气生成2万字，大模型开卷长输出
内容提要
清华唐杰团队通过AgentWrite方法成功将GLM-4和Llama-3.1的输出长度增加到7800字，翻了4倍。他们还生成了6000个长输出SFT数据，并将其添加到训练过程中。研究团队表示将进一步扩展模型的输出长度和质量，并提高效率。
延伸解读
长输出瓶颈的根源
文章指出，现有大模型输出长度普遍受限，主要原因是监督式微调（SFT）数据集中缺少长输出样本。研究发现，模型的最大输出长度与SFT数据集中的最大输出长度显著正相关。即使预训练阶段见过更长序列，SFT阶段缺乏长文本样本仍会限制输出长度。这解释了为何模型在生成超过2000字时普遍困难。
AgentWrite如何突破限制
AgentWrite是一种基于Agent的pipeline，将超长文本生成任务分解为多个子任务。它先根据用户指令制定详细写作计划，包括每个段落的内容要点和目标词数，然后依次提示模型生成每个段落。这种方法有效增加了输出长度，GLM-4和Llama-3.1的输出从1800字提升到7800字，翻了4倍。
开源与实测表现
论文及代码已在GitHub开源，网友实测LongWriter-llama3.1-8b可生成万字长文，在MacBook Pro 2018（32GB）上运行，生成《罗马帝国衰落史》耗时22分钟，平均每秒3.34个token。生成内容准确但结构较为公式化。团队通过DPO优化，GLM-4-9B在评估中实现最佳性能。
未来方向与局限
研究团队表示，未来将进一步扩展模型的输出长度和质量，并研究如何在不牺牲生成质量的情况下提高效率。目前方法依赖GPT-4o生成SFT数据，且生成内容可能模式化。这些是实际应用中需要关注的方面。
Q&A
清华唐杰团队的研究成果是什么？
他们通过AgentWrite方法成功将GLM-4和Llama-3.1的输出长度增加到7800字，翻了4倍。
AgentWrite方法是如何工作的？
AgentWrite将超长文本生成任务分解为多个子任务，并制定详细的写作计划，逐段生成内容。
为什么现有模型的输出长度受限？
现有模型输出长度受限主要是因为SFT数据集中缺少长输出样本。
研究团队生成了多少长输出SFT数据？
研究团队生成了6000个长输出SFT数据，构成数据集LongWriter-6k。
未来的研究方向是什么？
未来研究将进一步扩展模型的输出长度和质量，并提高生成效率。
使用AgentWrite后模型的表现如何？
评估结果显示，使用AgentWrite后模型输出长度明显增加，GLM-4-9B实现最佳性能。
