本研究提出KV-Distill框架，旨在压缩标准Transformer中自注意力机制的KV缓存，显著减少上下文长度达99%，同时保持预训练模型的性能。实验结果表明，KV-Distill在提取任务中优于其他压缩技术。

本研究提出了一种开放词汇的空间-语义扩散策略（S$^2$-扩散），旨在解决机器人技能学习的实例局限性。实验结果表明，该方法在类别无关因素变化时仍能保持良好性能，并有效地将技能转移至同类实例。

本研究提出了一种新技术DeltaLLM，通过在Transformer层之间共享权重和添加低秩差异矩阵，减少约12%的参数，同时保持90%的性能，有效解决大型语言模型的内存占用问题。

本研究提出了一种激活方差稀疏性评分（AVSS）方法，用于评估深度学习模型各层的重要性。去除约25%的低重要性层后，模型仍能保持90%以上的性能，为大型语言模型的优化提供了新思路。