➡️
继续阅读
-
通过专用GPU内核生成实现极致效率
Proteus系统利用智能体自动生成GPU专用内核,针对不同模型和运行时形状实现极致性能优化。通过严格验证、防作弊检查及知识层管理,Proteus为Qwe...
-
如何选择 RTC 推流的编码格式?
本文探讨RTC推流编码格式选择,指出H.264兼容性最广,适合作为默认格式;H.265节省带宽但兼容性差;VP8适用于WebRTC;AV1尚未普及。音频方...
-
Tether: Apple Continuity Like Experience Between iOS and Linux Desktop Machines
Zack Bartel has developed Tether, an open-source project designed to integrat...
-
BUUU签署协议收购Brightray Science 60%股权
BUUU集团签署协议收购Brightray Science 60%股权,后者专注预制模块化数据中心。交易后Brightray成为子公司,创始人王斌任BUU...
-
推理服务的缓存与调度:前缀、多级存储、集群路由
本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级,因此设计围绕复用展开:单实例内通过块哈希实现前缀缓存;KV池采用writ...
-
显存账本:每张卡上住着什么,搬走付什么
本文介绍训练大模型时显存管理的通用记账方法。显存分为五类:权重、梯度、优化器状态、激活和通信缓冲。前三类由参数量和并行度决定,激活随输入长度增长,优化空间...