该论文研究了状态空间模型（SSMs）的上下文学习能力，并提出了可能的潜在机制的理论解释。通过引入新的权重构造，使得SSMs能够预测任何动态系统的下一个状态，无需参数微调。实证方法证明了该参数化方法的有效性。

选择性状态空间模型（SSMs）如Mamba克服了Transformer的一些缺点，但在需要复制或上下文学习能力的任务上落后。然而，Mamba-2-Hybrid在12个标准任务上超过了Transformer，并且在生成推理标记时速度最多快8倍。混合模型在额外的长期上下文任务中继续匹配或超越了Transformer。

本文介绍了适用于大型语言模型的概念“适用性授权”，并提出了ICLGuard方法来管理模型在不同数据上的行为。实证结果显示，经过保护的语言模型可以在目标数据上取消上下文学习能力，而不影响其他数据上的能力和总体功能。

选择性状态空间模型（SSMs）如Mamba克服了Transformer的一些缺点，但在复制和上下文学习能力任务上落后。然而，Mamba-2-Hybrid在12个标准任务上超过了Transformer，生成推理标记速度最多快8倍。混合模型在额外的长期上下文任务中紧密匹配或超越了Transformer。

选择性状态空间模型（SSMs）如Mamba克服了Transformer的一些缺点，但在复制和上下文学习能力任务上落后。然而，Mamba-2-Hybrid在12个标准任务上超过了Transformer，并且在生成推理标记时速度最多快8倍。混合模型在额外的长期上下文任务中继续匹配或超越了Transformer。

选择性状态空间模型（SSMs）如Mamba克服了Transformer的一些缺点，但在复制或上下文学习能力强的任务上落后。然而，Mamba-2-Hybrid在12个标准任务上超过了Transformer，并且在生成推理标记时速度最多快8倍。混合模型在额外的长期上下文任务中继续匹配或超越了Transformer。

选择性状态空间模型（SSMs）如Mamba克服了Transformer的一些缺点，但在需要强大的复制或上下文学习能力的任务上落后于Transformer。然而，Mamba-2-Hybrid在12个标准任务上超过了Transformer，并且在生成推理标记时速度最多快8倍。在额外的长期上下文任务中，混合模型继续紧密匹配或超越了Transformer。

本文介绍了一种将知识图谱与问答任务集成的新方法，提高了大语言模型的上下文学习能力和可解释性，为可解释 AI 领域做出贡献。

本文研究了大型语言模型的上下文学习能力，通过马尔可夫链序列建模任务揭示了变压器层之间的交互作用对成功学习的影响，并探讨了马尔可夫链的先验分布和上下文学习的拓展。

研究探讨了Transformer模型在上下文中学习的能力，结果显示其在选择无监督模型和学习不同任务方面表现出优秀的能力。然而，当面对超出预训练数据领域的任务时，Transformer的泛化能力会退化。研究结果强调了高容量序列模型的上下文学习能力与预训练数据的覆盖范围相关。

该研究探讨了Transformer模型在上下文学习中的能力，发现其在选择无监督模型和学习不同任务方面表现出近乎最优的能力。然而，当面对超出预训练数据领域的任务或功能时，Transformer的泛化能力会退化。研究结果强调了高容量序列模型的上下文学习能力与预训练数据组合的覆盖范围密切相关。