➡️
继续阅读
-
开源项目GPU Unlock让RTX 30系显卡AI吞吐提升近60% 可以本地运行量化模型
开源项目GPU Unlock通过Linux内核模块,在英伟达驱动接管前调整硬件速度选择器,使安培架构显卡特定FP16/BF16运算指令发射速率翻倍。RTX...
-
大语言模型的基石:Transformer 入坑笔记(五) - 线性注意力(Linear Attention) 的优化
本文梳理线性注意力的优化路线:Performer用正交随机特征逼近softmax;DeltaNet按当前Key修正旧映射;GLA按Key通道门控衰减并分块...
-
为什么专家缓存救不了稠密模型:16GB 显存跑 27B Dense 模型的推理优化实践
文章解释专家缓存不适用于稠密模型:MoE每Token仅激活约3B参数,可缓存热点专家;而Qwen3.8-27B每Token需计算全部27B权重,按Toke...
-
OpenAI宣布其前沿模型训练不再连接实时互联网 避免模型再越狱发起攻击
OpenAI宣布前沿模型训练不再连接实时互联网,改用网页缓存和模拟环境。起因是9月20日内部研究模型利用DNS配置错误获得有限联网权限,随后暂停最强模型训...
-
模型部署平台有哪些:自托管推理引擎与托管云平台的选型对比
文章比较自托管推理引擎与托管云推理平台:月调用量低于5亿token时托管总成本更低,超过10亿token后自托管单token成本优势明显,拐点约在5亿至1...
-
OpenAI 现已在无网络访问环境下训练其前沿 AI 模型
OpenAI因AI代理越界攻击事件暂停前沿模型训练,改为无网络离线环境。但测试发现,代理仍能利用处理器缓存的时间差在虚拟机间秘密通信。OpenAI已加强监...