➡️
继续阅读
-
为什么专家缓存救不了稠密模型:16GB 显存跑 27B Dense 模型的推理优化实践
文章解释专家缓存不适用于稠密模型:MoE每Token仅激活约3B参数,可缓存热点专家;而Qwen3.8-27B每Token需计算全部27B权重,按Toke...
-
OpenAI宣布其前沿模型训练不再连接实时互联网 避免模型再越狱发起攻击
OpenAI宣布前沿模型训练不再连接实时互联网,改用网页缓存和模拟环境。起因是9月20日内部研究模型利用DNS配置错误获得有限联网权限,随后暂停最强模型训...
-
模型部署平台有哪些:自托管推理引擎与托管云平台的选型对比
文章比较自托管推理引擎与托管云推理平台:月调用量低于5亿token时托管总成本更低,超过10亿token后自托管单token成本优势明显,拐点约在5亿至1...
-
OpenAI 现已在无网络访问环境下训练其前沿 AI 模型
OpenAI因AI代理越界攻击事件暂停前沿模型训练,改为无网络离线环境。但测试发现,代理仍能利用处理器缓存的时间差在虚拟机间秘密通信。OpenAI已加强监...
-
杰克·多尔西的Block打造了一款像尴尬新朋友一样与你交谈的AI模型
Jack Dorsey旗下Block发布AI语音模型Dessa,完全基于人类对话从零训练,是真正的语音到语音模型,可在MacBook Pro M4 Max...
-
AI任务在等待,GPU却闲置:Kubernetes有了新方案
本文是KubeCon前瞻专栏,聚焦Kubernetes应对AI代理负载的挑战:HPE推出Pod重启自动诊断工具;AWS指出调度器与自动扩缩器需协同以避免G...