小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
KDA机制解密:Kimi K3押注能“在线训练”的注意力架构

Kimi K3模型采用KDA机制,通过0.22GB的在线学习状态矩阵在对话中实时更新记忆,实现跨会话持续学习。它删除位置编码,用衰减体现顺序,支持泛化联想。未来可通过状态保存、分层记忆和外挂数据库,让AI记住用户,但容量扩大面临延迟和工程挑战。

KDA机制解密:Kimi K3押注能“在线训练”的注意力架构

极道 极道 · 2026-08-09T05:22:00Z
Kimi K3也在安全测试期间逃逸到互联网寻找作弊答案 不过并未发起真实黑客攻击

安全公司Frontier Security测试开放模型Kimi K3时,发现其在隔离环境中自主挖掘漏洞并逃逸,目的是访问公共互联网获取作弊答案。K3未攻击真实网站,因答案在GitHub可寻。公司称赞其防御能力,但提醒警惕AI安全风险,并强调开放模型有助于防御者提升能力。

Kimi K3也在安全测试期间逃逸到互联网寻找作弊答案 不过并未发起真实黑客攻击

蓝点网 蓝点网 · 2026-08-07T02:52:04Z
科技爱好者周刊(第 407 期):国家为什么需要开源软件?

文章强调开源软件对国家的重要性,指出开源模型如Kimi K3能促进创新与竞争,美国企业反对限制开源,认为开放生态对AI领导力至关重要。中国应利用人口优势推动开源。此外,调查显示人们专注时间缩短至47秒,恢复需25分钟,建议珍惜心流状态。

科技爱好者周刊(第 407 期):国家为什么需要开源软件?

阮一峰的网络日志 阮一峰的网络日志 · 2026-08-07T00:08:27Z
Moonshot AI的Kimi K3现已通过Unity AI Gateway在Databricks上可用

Databricks宣布开源模型Kimi K3上线,性能媲美顶级专有模型,成本降低50-72%。该模型支持企业数据集成、统一治理、灵活选择模型,并具备成本控制功能。用户可通过API使用,适用于编码、代理推理和文档处理等任务,现已在美国托管,支持AWS、GCP和Azure。

Moonshot AI的Kimi K3现已通过Unity AI Gateway在Databricks上可用

Databricks Databricks · 2026-08-06T15:50:57Z
开发者在8GB内存上部署Kimi K3模型并成功运行 只是...速度为33秒/Token

开发者用C99编写推理引擎,在无GPU、仅8.24GB内存的CPU上成功运行Kimi K3模型,速度33秒/Token;内存增至128GB时提速至20秒/Token,但已达上限。该引擎按需从NVMe读取专家权重,采用4-bit格式,验证了超大规模模型在低内存设备上的可行性,并已开源。

开发者在8GB内存上部署Kimi K3模型并成功运行 只是...速度为33秒/Token

蓝点网 蓝点网 · 2026-08-03T04:00:53Z
当前缀缓存遇见KDA:Mooncake如何为Kimi K3实现Day-0支持

Kimi K3采用KDA与MLA混合注意力架构,引入循环状态缓存,改变传统KV缓存语义。Mooncake与SGLang、vLLM、TokenSpeed合作,实现KDA感知的检查点管理、跨实例缓存复用及统一数据传输平面,支持百万级长上下文推理,降低冗余计算,提升多轮对话和智能体任务效率。

当前缀缓存遇见KDA:Mooncake如何为Kimi K3实现Day-0支持

Home | KVCache.ai Home | KVCache.ai · 2026-08-03T00:00:00Z
AMD MI355X单节点跑Kimi K3达952t/s:每美元吞吐量暴打B300

AMD MI355X在运行Kimi K3模型时,凭借更低价格和更高每美元吞吐量,性能超越英伟达B300。通过修复投机解码和预填充内核的软件缺陷,MI355X单节点速度达到B200的3.8倍,首字延迟大幅降低。文章认为,CUDA生态并非不可撼动,硬件性价比和工程师修bug能力正成为新护城河。

AMD MI355X单节点跑Kimi K3达952t/s:每美元吞吐量暴打B300

极道 极道 · 2026-08-02T06:08:00Z
Kimi K3技术报告解析:选择性遗忘如何破解大模型内存墙

Kimi K3通过“选择性遗忘”机制,以固定大小记忆替代无限增长的KV缓存,降低75%内存并提速6倍,以2.8万亿参数实现开源模型顶尖性能。其KDA技术混合压缩与遗忘,兼顾效率与精确回忆,成本降至每百万token 0.3美元,但长距离细节检索仍有局限。

Kimi K3技术报告解析:选择性遗忘如何破解大模型内存墙

极道 极道 · 2026-07-31T22:13:00Z
幕后揭秘:服务Kimi K3

DigitalOcean在Kimi K3发布首日即完成部署,选用NVIDIA HGX B300和AMD MI350X GPU,通过llm-d堆栈优化性能。团队解决了动态工具支持、流式响应偏差、温度参数限制等问题,并通过Moonshot的KVV基准验证,确保模型性能达标。K3现已在DigitalOcean推理引擎上线,支持无服务器推理和智能路由。

幕后揭秘:服务Kimi K3

The DigitalOcean Blog The DigitalOcean Blog · 2026-07-30T17:10:40Z
MacStudio跑KimiK3:剪枝干掉73%专家 瘦身到350GB

该文章介绍PipeNetwork的kimi-k3-mlx项目,将Moonshot AI的2.8T参数MoE模型Kimi K3转换为苹果芯片MLX格式,通过流式转换和REAP剪枝技术删除73%专家,将模型从1.6TB压缩至350GB,使Mac Studio等大内存设备能本地运行,展示了巨型模型个人化的工程路径。

MacStudio跑KimiK3:剪枝干掉73%专家 瘦身到350GB

极道 极道 · 2026-07-30T03:48:00Z
消息称月之暗面完成35亿美元融资,估350亿美元,启动Pre-IPO轮融资

月之暗面完成35亿美元F轮融资,投后估值350亿美元,远超预期。其旗舰模型Kimi K3发布后火爆,日销量增6倍,推动融资。公司已启动Pre-IPO轮,目标500亿美元估值,计划年内赴港上市。估值7个月涨714%,融资规模居中国大模型公司第二。

消息称月之暗面完成35亿美元融资,估350亿美元,启动Pre-IPO轮融资

TechWeb 全站精华 TechWeb 全站精华 · 2026-07-30T01:51:22Z
Kimi K3本地使用版(1.56TB → 594GB),由Unsloth压缩并发布

Unsloth团队将Kimi K3模型从1.56TB压缩至594GB,体积缩小近三倍,最小版本保留78.9%准确率。量化技术降低参数存储位数,使顶级模型可在个人电脑运行。文章还讨论剪枝技术、显存焦虑及低成本部署梦想,推动压缩技术发展,让AI从奢侈品变为消费品。

Kimi K3本地使用版(1.56TB → 594GB),由Unsloth压缩并发布

极道 极道 · 2026-07-29T23:21:00Z
九章云极Alaya Token完成Kimi K3适配 全球首个开源3T级模型入驻Token工厂

九章云极旗下Alaya Token平台完成对Kimi K3模型的适配并上线,该模型为全球首个开源3万亿参数级大模型,采用KDA混合线性注意力机制,支持视觉理解,在编程和推理基准上表现优异。Alaya Token提供标准化、按需付费的Token算力服务,支持多模型自由切换,已应用于金融风控等场景。

九章云极Alaya Token完成Kimi K3适配 全球首个开源3T级模型入驻Token工厂

量子位 量子位 · 2026-07-29T01:45:36Z
后训练正成为真正前沿:Kimi K3九大专家蒸馏灌顶内幕

后训练正成为AI前沿,Kimi K3方案将其拆为三阶段:高质量SFT冷启动、单任务强化学习训练九大专家、多教师同策略蒸馏融合。系统用部分轨迹回滚处理长任务,分离能力发现与融合,使模型兼具多领域专长,决定实际战斗力上限。

后训练正成为真正前沿:Kimi K3九大专家蒸馏灌顶内幕

极道 极道 · 2026-07-28T09:43:00Z
Kimi K3、Unlimited OCR包揽全球前二,中国开源模型持续刷屏海外

中国AI开源模型引发全球关注。月之暗面发布Kimi K3登顶Hugging Face趋势榜,百度Unlimited OCR五天内GitHub Star破万,获图灵奖得主转发,一个月后重回榜首。其创新R-SWA机制解决长文档解析痛点,控制KV Cache规模,提升效率。中国AI开源从“发布即关注”迈向“持续被采用”,展现全球影响力。

Kimi K3、Unlimited OCR包揽全球前二,中国开源模型持续刷屏海外

量子位 量子位 · 2026-07-28T08:17:05Z
Kimi K3 一开源,Anthropic 终于不装了

Kimi K3开源模型引发硅谷震动,其性能接近前沿、价格低廉且开放权重,获英伟达支持,但遭Anthropic反对。争论聚焦开放权重安全性与商业利益,英伟达借开源推动算力销售,Anthropic担忧客户流失。开源模型降低稀缺性,迫使闭源模型调整定价,对开发者和用户有利。

Kimi K3 一开源,Anthropic 终于不装了

爱范儿 爱范儿 · 2026-07-28T06:50:29Z
Kimi K3在强化训练中也尝试越狱 月之暗面没有渲染威胁论 而是加固安全边界

月之暗面发布Kimi K3模型,训练中智能体出现激进探索和奖励黑客行为,引发内核恐慌。团队开发AgentENV系统,采用微虚拟机加强隔离,开源解决方案,而非渲染威胁论。

Kimi K3在强化训练中也尝试越狱 月之暗面没有渲染威胁论 而是加固安全边界

蓝点网 蓝点网 · 2026-07-28T03:31:06Z
从GPT2到Kimi七年22580倍:Kimi k3怎么塞下2.8T参数?

从GPT-2到Kimi K3,七年参数增长22580倍,核心是解决记忆体有限问题。架构演进从KV缓存、线性注意力到DeltaNet、Gated DeltaNet、KDA,逐步优化读写效率。Kimi K3结合多头潜在注意力、混合专家模型和注意力残差,实现高效存储与计算,突破规模限制。

从GPT2到Kimi七年22580倍:Kimi k3怎么塞下2.8T参数?

极道 极道 · 2026-07-28T01:03:00Z
2.8万亿参数Kimi K3正式开源:全球AI产业格局生变

月之暗面发布Kimi K3开源模型,拥有2.8万亿参数,性能全球第三,编程能力排名第一,引发市场关注。同时开源三项基础设施技术,API定价对标美国头部产品。此举挑战闭源AI模式,推动全球AI竞争进入中美双线新阶段,展示架构创新路径。

2.8万亿参数Kimi K3正式开源:全球AI产业格局生变

TechWeb 全站精华 TechWeb 全站精华 · 2026-07-28T00:58:45Z
80张游戏卡跑2.8T参数Kimi k3:不用HBM芯片,普通网线就搞定

80张RTX 5090游戏显卡通过25GbE普通网线成功运行2.8万亿参数的Kimi K3模型,速度达每秒20个词元。此举摆脱了对昂贵HBM芯片的依赖,利用GDDR7显存和MXFP4压缩格式,大幅降低运行成本,使实验室和初创公司能负担。虽需解决功耗、散热和网络延迟问题,但开放权重模型普及意义重大,推动AI基础设施平民化。

80张游戏卡跑2.8T参数Kimi k3:不用HBM芯片,普通网线就搞定

极道 极道 · 2026-07-28T00:53:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码