Infinite Context Learning: Breaking the Limit of Context Window Size via Long Short-term Memory Transformation
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了InfiniteICL框架，解决了大型语言模型在超长上下文中窗口有限的问题。该方法通过将临时知识转化为持久参数更新，显著降低了内存使用，并提升了模型在不同输入长度下的表现。实验表明，该方法在复杂真实场景中有效减少了90%的上下文长度。
🏷️
