CacheGen：面向语言模型应用的快速上下文加载
原文中文，约500字，阅读约需2分钟。发表于：。CacheGen 通过将上下文的键值（KV）特征压缩成更紧凑的比特流表示形式，从而减少获取和处理上下文的延迟，并降低带宽使用量。在测试中，相对于处理长上下文的最近方法，CacheGen 在保持类似的大型语言模型任务性能的同时，减少了带宽使用量 3.7-4.3 倍，减少了获取和处理上下文的总延迟 2.7-3 倍。
该文介绍了支持高达32,768个令牌的长上下文LLMs，通过持续预训练构建模型系列，在语言模型、合成上下文探索任务以及广泛的研究基准上取得了显著提升。作者对Llama的位置编码和预训练过程中的设计选择进行了深入分析，验证了长上下文持续预训练相对于从头开始的长序列预训练更高效且同样有效。
