RecGPT：文本推荐的生成式预训练
内容提要
本文介绍了多种基于大规模语言模型的创新应用，包括BioGPT（生物医学）、SeqGPT（增强型）、PhoGPT（越南语）、GraphGPT（自我监督建模）、RecurrentGPT（文本生成）、GPT4Rec（推荐系统）、DialoGPT（对话生成）、VisualGPT（图像字幕）以及BookGPT（书籍推荐）。这些模型在各自领域展现了优越的性能和应用潜力。
延伸解读
从通用到垂直：领域专用模型的兴起
文章列举的BioGPT、PhoGPT等模型表明，将大规模语言模型预训练与领域数据结合，能显著提升专业任务表现。例如BioGPT在生物医学文献上预训练后，在PubMedQA上达到81.0%准确率。这提示读者，通用大模型并非万能，针对特定领域（如医疗、小语种）进行继续预训练或指令微调，是提升效果的有效路径。
推荐系统的生成式革新
GPT4Rec和BookGPT展示了生成式模型在推荐领域的应用。GPT4Rec通过多查询生成和BM25搜索引擎捕捉用户兴趣，提高推荐相关性和多样性；BookGPT则利用ChatGPT完成书籍评分、概述等任务。这些案例说明，生成式推荐不再局限于传统协同过滤，而是能更灵活地理解用户意图，但文章也指出BookGPT存在优缺点，需理性看待其实际部署效果。
长文本与交互式生成的新可能
RecurrentGPT模拟LSTM的长短期记忆机制，能生成任意长度文本，并作为交互式虚构小说与消费者互动。这突破了传统生成模型在长度和连贯性上的限制，为计算机辅助写作系统提供了新思路。读者可关注其在长文本生成中的一致性保持能力，以及如何平衡生成自由与内容可控性。
数据高效与跨模态应用
VisualGPT利用预训练语言模型的知识，在少量领域数据上快速适应图像字幕任务，在MSCOCO和Conceptual Captions上CIDEr得分显著提升，并在医学报告生成数据集IU X-ray上取得最新结果。这表明，通过自重生编码器-解码器注意机制和稀疏激活单元，可以降低对大规模标注数据的依赖，为跨模态任务提供高效解决方案。
Q&A
BioGPT 是什么？
BioGPT 是一种基于大规模生物医学文献预训练的生成 Transformer 语言模型，在 PubMedQA 任务上取得了 81.0% 的准确率。
GPT4Rec 如何提高推荐系统的效果？
GPT4Rec 通过多查询生成技术和基于 BM25 的搜索引擎来更好地捕获用户兴趣，提高推荐的相关性和多样性。
VisualGPT 在医学报告生成中的应用表现如何？
VisualGPT 在医学报告生成数据集 IU X-ray 上取得了最新的结果，并在多个数据集上展示了优异的 CIDEr 得分。
SeqGPT 有哪些主要特点？
SeqGPT 是一种增强的双语模型，展示了良好的分类和抽取能力，能够在未见领域上执行语言理解任务。
RecurrentGPT 的主要功能是什么？
RecurrentGPT 模拟 LSTM 的长短期记忆机制，能够生成任意长度的文本，并作为交互式虚构小说与消费者互动。
DialoGPT 的训练数据来源是什么？
DialoGPT 在 Reddit 上 2005 年至 2017 年的时间跨度内提取的 1.47 亿条对话样本上进行训练。
