将变压器视为所罗门夫归纳法的近似

BriefGPT - AI 论文速递 · 2024-08-22T00:00:00Z

研究发现，transformers在复制任务上的性能优于GSSMs，且在泛化方面更好。预训练的大型语言模型也证明了transformer模型在复制和检索上下文信息的任务上的优势。综合结果表明，transformers与GSSMs在实际任务中存在根本差距。