清华唐杰团队新作：一口气生成2万字，大模型开卷长输出
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
清华唐杰团队通过AgentWrite方法成功将GLM-4和Llama-3.1的输出长度增加到7800字，翻了4倍。他们还生成了6000个长输出SFT数据，并将其添加到训练过程中。研究团队表示将进一步扩展模型的输出长度和质量，并提高效率。
❓
Q&A
清华唐杰团队的研究成果是什么？
他们通过AgentWrite方法成功将GLM-4和Llama-3.1的输出长度增加到7800字，翻了4倍。
AgentWrite方法是如何工作的？
AgentWrite将超长文本生成任务分解为多个子任务，并制定详细的写作计划，逐段生成内容。
为什么现有模型的输出长度受限？
现有模型输出长度受限主要是因为SFT数据集中缺少长输出样本。
研究团队生成了多少长输出SFT数据？
研究团队生成了6000个长输出SFT数据，构成数据集LongWriter-6k。
未来的研究方向是什么？
未来研究将进一步扩展模型的输出长度和质量，并提高生成效率。
使用AgentWrite后模型的表现如何？
评估结果显示，使用AgentWrite后模型输出长度明显增加，GLM-4-9B实现最佳性能。
🏷️
