变压器是最小最大最优的非参数上下文学习耠

BriefGPT - AI 论文速递 · 2024-08-22T00:00:00Z

研究发现，Transformer模型在上下文学习方面表现出近乎最优的能力，但在面对超出预训练数据领域的任务时，泛化能力会退化。研究结果强调了高容量序列模型的上下文学习能力与预训练数据组合的覆盖范围密切相关。