破解 Transformer 模型：任务特定的上下文归因承诺在不进行预训练 LLM 微调的情况下提供改进的泛化能力
内容提要
该文综述多项研究：上下文词表示在细粒度任务上仍不足；TF-IDF与上下文嵌入结合可提升36%；提示微调仅用35%-40%数据即达可比效果；CoAT优化提升上下文学习；FoT技术扩展长文本处理能力。
延伸解读
上下文嵌入的局限与混合方案
文章指出，基于Transformer的上下文词表示在细粒度语言任务（如连词识别）上表现不足，在文本相似度匹配中也不及简单的TF-IDF基准。为此，研究者提出将TF-IDF与上下文嵌入结合，相对性能提升达36%。这表明，在特定任务中，传统统计特征仍具价值，混合方法可能比单纯依赖上下文嵌入更有效。
提示微调的高效性
文章提到，使用Prompt-based Fine-tuning技术，仅需35%-40%的训练数据就能达到与全量数据可比的效果，从而显著节约时间和成本。这提示读者，在资源有限或需要快速迭代的场景下，提示微调是一种值得考虑的高效策略，尤其适用于语言模型和多模式因果变换器模型。
上下文学习的鲁棒性与限制
通过比较Transformer和基于集合的MLP，文章发现Transformer能更准确地模拟最小二乘法性能，对轻微分布移位更鲁棒，但在严重分布移位下，两者的上下文学习能力都会减弱。这说明上下文学习并非万能，其泛化能力受数据分布变化影响，实际应用中需关注分布偏移问题。
长文本处理的改进技术
针对大型语言模型处理长文本的局限性，文章介绍了Focused Transformer（FoT）技术，通过对称学习过程增强键值空间结构，提供更长的上下文长度。此外，CoAT优化方法利用模拟训练数据帮助模型更好利用背景知识，使In-context learners达到更大规模模型的性能。这些进展有助于扩展LLM在实际语言应用中的使用。
Q&A
上下文词表示在哪些任务上表现不佳？
对于需要细粒度语言知识的任务（如连词识别），上下文词表示还不能胜任。
如何提升上下文嵌入在细粒度文本匹配任务上的性能？
将 TF-IDF 与上下文嵌入模型相结合，相对性能提升达到 36%。
Prompt-based Fine-tuning 技术能节省多少训练数据？
使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而显著节约时间和费用。
CoAT 优化方法有什么作用？
利用模拟训练数据帮助语言模型更好地利用背景知识，使用 CoAT 训练的 In-context learners 性能表现良好，达到了在多任务训练中更大规模模型的性能水平。
Focused Transformer (FoT) 技术解决了什么问题？
通过对称的学习过程增强（键，值）空间的结构，提供更长的上下文长度，有效解决大型语言模型处理长文本时的局限性。
Transformer 模型在上下文学习方面有哪些普遍限制？
在严重分布移位的情况下，Transformer 和基于集合的 Multi-Layer 感知机的上下文学习能力都会减弱。
