BriefGPT - AI 论文速递 · 2025-05-15T00:00:00Z

Multi-Token Prediction Requires Registers

📝

内容提要

本研究提出MuToR方法，通过将可学习的寄存器令牌交错到输入序列中，解决了语言模型微调中的多令牌预测问题。研究表明，MuToR在多种场景下表现优异，特别适合有监督的微调任务。

🏷️

标签

MuToR 多令牌预测 微调 有监督 语言模型