本文提出了一种新颖的语义压缩方法，使大型语言模型（LLM）能够处理更长文本而无需显著的计算开销。该方法通过减少语义冗余，扩展了LLM在问答和摘要等任务中的上下文窗口。同时，研究介绍了LongMem和UniMem框架，提升了模型对历史上下文的利用能力，并提出了Attention Transition技术，显著改善了长文本理解。