在线教程 | 1 分钟生成万字悬疑小说，LongWriter-glm4-9b 突破长文输出瓶颈
内容提要
清华大学联合智谱AI构建了名为LongWriter-6k的数据集，包含6,000个SFT数据样本，输出长度从2k到32k个单词不等。利用该数据集，研究团队训练了一个能够生成超过10,000字连贯文本的模型LongWriter-glm4-9b。该模型在文学创作、新闻报道等实际应用中表现出广泛性。
延伸解读
长文本生成瓶颈的根源
文章指出，大语言模型在生成超过2000词的连贯输出时常常遇到困难，主要原因在于监督式微调（SFT）数据集中长输出样本的稀缺性。研究表明，模型的最大输出长度与其在SFT阶段接触的样本长度有显著正相关性。这意味着，尽管模型能理解长文本，但若训练数据中缺乏长输出样本，模型便难以学会生成同样长度的文本。因此，解决长文本生成问题需要从训练数据入手。
LongWriter-6k数据集的构建与作用
清华大学联合智谱AI基于AgentWrite技术构建了LongWriter-6k数据集，包含6000个SFT数据样本，输出长度从2k到32k个单词不等。该数据集旨在弥补长输出样本的不足，通过提供多样化的长文本训练样本，帮助模型学习生成长篇连贯内容。数据集已上线至HyperAI超神经官网，支持一键输入，为研究人员和开发者提供了便利。
LongWriter-glm4-9b模型的实际应用
利用LongWriter-6k数据集，研究团队基于GLM-4-9B训练出LongWriter-glm4-9b模型，能够生成超过10000字的连贯文本。该模型在文学创作、新闻报道等实际应用中表现出广泛性，显著扩展了大语言模型的输出潜力。用户可通过HyperAI超神经教程版块一键部署该模型，快速体验长文本生成能力，例如生成万字悬疑小说。
使用注意事项与资源获取
用户需在HyperAI上注册并实名认证后才能使用API地址访问功能。教程提供了详细的部署步骤，包括克隆教程、选择算力（如NVIDIA RTX 4090和PyTorch镜像）等。新用户通过专属邀请链接注册可获得4小时RTX 4090和5小时CPU的免费时长。这些信息有助于用户顺利上手并充分利用该模型。
Q&A
LongWriter-glm4-9b模型的主要功能是什么？
LongWriter-glm4-9b模型能够生成超过10,000字的连贯文本，适用于文学创作和新闻报道等领域。
LongWriter-6k数据集包含多少个样本？
LongWriter-6k数据集包含6,000个SFT数据样本。
如何使用LongWriter-glm4-9b模型？
用户需在HyperAI上注册并实名认证后，访问API地址，或在教程页面一键部署该模型。
LongWriter-6k数据集的输出长度范围是什么？
LongWriter-6k数据集的输出长度从2,000到32,000个单词不等。
LongWriter-glm4-9b模型是如何训练的？
该模型是基于LongWriter-6k数据集进行训练的，旨在解决长文本生成的困难。
用户如何在HyperAI上运行Demo？
用户需登录HyperAI，搜索「一键部署 LongWriter-glm4-9b」，克隆教程并选择算力后即可运行Demo。
