DeepSeek V4引入CSA和HCA两种压缩注意力机制，以提高大模型处理超长上下文的效率。CSA通过分组压缩和稀疏选择保留更多细节，而HCA则实现极端压缩并对所有条目进行密集注意。两者结合使用，既保留重要信息，又降低计算成本。尽管效率提升显著，处理百万级token仍需高性能硬件，主要面向大规模推理场景。未来可能探索动态压缩率等新方向。

DeepSeek V4正式版将于7月中旬上线，带来功能优化和性能提升。新版本引入峰谷定价机制，高峰时段API价格将提高，并具备百万字超长上下文，采用新注意力机制，显著降低计算需求。

DeepSeek V4 发布了 Pro 和 Flash 两个版本，具备超长上下文能力和高效编码性能。开发 WordPress 插件的过程简单高效，成本低至5元。该模型能快速理解现有代码并生成实现方案，是开发者的优质辅助工具。

华为云于4月24日发布并开源DeepSeek-V4模型，该模型支持百万Token超长上下文，提升了推理性能和经济性。新模型已被金山办公、360等企业接入，支持高效API服务，优化了调度和计算效率。

DeepSeek-V4技术报告强调通过改进注意力机制和优化器，提高超长上下文处理效率，能够高效处理1M上下文，降低计算和缓存成本。模型在中文写作和白领任务中表现良好，但在复杂任务上仍需提升。整体目标是解决长上下文的成本问题，提供完整的技术方案。

本文介绍了大语言模型的优化方法，包括蒸馏、量化、超长上下文和混合专家。蒸馏通过大模型指导小模型以减小体积并保留能力；量化通过降低精度节省内存；超长上下文利用局部窗口和环形注意力优化计算；混合专家则选择性激活部分专家以减少计算量。这些方法有效提升了模型的效率和性能。

DeepSeek-V3 API 是一款强大的人工智能接口，支持超长上下文（128K tokens），具备卓越的自然语言处理能力，适用于客服、内容创作和代码生成，特别优化了中文理解，易于集成。

清华大学等机构提出的可变视觉位置编码方法（V2PE）旨在提升视觉-语言多模态模型在长上下文场景下的表现。V2PE通过为视觉token分配可变位置增量，克服了传统位置编码的局限性，显著增强了模型在超长上下文任务中的能力。

阿里云百炼推出Qwen2.5-Turbo模型，支持超长上下文（100万），性能超越GPT-4。该模型在长短文本任务中表现优异，推理速度提升4.3倍。用户可免费获得1000万tokens，适用于长篇小说和代码助手等场景。