小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
DeepSeek V4的CSA和HCA:如何把百万上下文压缩到不烧显卡

DeepSeek V4引入CSA和HCA两种压缩注意力机制,以提高大模型处理超长上下文的效率。CSA通过分组压缩和稀疏选择保留更多细节,而HCA则实现极端压缩并对所有条目进行密集注意。两者结合使用,既保留重要信息,又降低计算成本。尽管效率提升显著,处理百万级token仍需高性能硬件,主要面向大规模推理场景。未来可能探索动态压缩率等新方向。

DeepSeek V4的CSA和HCA:如何把百万上下文压缩到不烧显卡

极道
极道 · 2026-07-12T00:48:00Z
DeepSeek-V4——迈向百万token上下文:保留V3的MoE和多token预测机制,提出混合注意力机制(CSA/HCA)、流形约束超连接mHC(替代残差)、Muon优化器(取代AdamW)

DeepSeek-V4系列模型推出了1.6T和284B参数的两个版本,采用混合注意力架构和流形约束超连接,提升了长上下文处理效率。通过Muon优化器和多项基础设施优化,模型在训练和推理阶段展现出更高的稳定性和效率。预训练后,DeepSeek-V4在多个基准测试中超越前代,设立了新的性能标准。

DeepSeek-V4——迈向百万token上下文:保留V3的MoE和多token预测机制,提出混合注意力机制(CSA/HCA)、流形约束超连接mHC(替代残差)、Muon优化器(取代AdamW)

结构之法 算法之道
结构之法 算法之道 · 2026-05-03T15:54:48Z

据Security Affairs网站报道,HCA医疗公司近期遭受网络攻击,导致约1100万患者个人信息泄露。攻击者在地下论坛上宣传入侵HCA,并发布了包括患者姓名、城市、州和邮编、电子邮件、电话号码、出生日期、性别以及服务日期、地点和下次预约日期等敏感信息。HCA已通知执法部门并展开调查,暂时无法确认受影响的患者数量。尽管约2700万行数据被泄露,但HCA表示此次事件不会对业务或财务业绩产生重大影响,且护理和服务未中断。

HCA 医疗遭遇黑客攻击,泄露 1100 万患者敏感信息

FreeBuf网络安全行业门户
FreeBuf网络安全行业门户 · 2023-07-12T03:23:12Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码