【大模型基础设施工程】16：长上下文工程

长上下文模型面临计算复杂度和显存限制，需重构注意力计算和位置编码。

采用RoPE、YaRN等技术扩展位置编码，结合线性注意力和稀疏注意力优化计算效率。

训练策略上，采用短预训练与长继续预训练相结合的方式，提升模型性能。

推理优化方面，利用前缀缓存和KV压缩等技术提高推理效率。

长上下文的需求场景包括文档QA、代码库理解和多轮对话等。

RAG与长上下文模型互补，RAG适合低延迟场景，而长上下文模型在精度上更具优势。

位置编码的扩展方法包括RoPE、YaRN和LongRoPE等，解决了绝对位置编码的局限性。

注意力计算复杂度的优化方法包括线性注意力和状态空间模型等。

稀疏注意力和近似注意力方法如NSA和MInference在推理时提高了效率。

长上下文训练面临样本稀缺问题，通常采用短预训练与合成样本的方式。

推理阶段的挑战包括显存管理和延迟优化，采用分布式KV缓存和前缀缓存等策略。

Agent场景中，长上下文的消耗速率高，需采用分层缓存策略和轨迹压缩技术。