➡️
继续阅读
-
微软的Project Zenith是面向开发者的‘无干扰Windows体验’
微软推出“Project Zenith”开发者专用Windows体验,首批设备搭载AMD Ryzen AI Halo芯片,配备64GB以上统一内存,可本地...
-
苹果提前「揭晓」触屏 MacBook Pro,我终于能戳同事电脑了
苹果正在研发首款OLED触屏MacBook,预计2025年10月发布,搭载M5芯片并采用灵动岛设计。macOS 27将加入触控支持,区分直接与间接触控,并...
-
AI 智创简报:《说话人分离专利转向流式,转写接单者的工具活》
近一年,NVIDIA与Google公开了四项说话人分离专利,推动该技术从离线批处理转向流式处理,并引入大模型纠错。此技术旨在解决转写中“谁在何时说话”的难...
-
“我1%的工程师消耗了40%的token”:Coder与SpaceXAI为何要给开发者提供更好的工具
Coder推出Agent Relay服务,与SpaceXAI合作,使软件团队能在自有基础设施上运行编码代理,而Cursor负责云端推理。该方案针对银行、国...
-
推理服务的缓存与调度:前缀、多级存储、集群路由
本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级,因此设计围绕复用展开:单实例内通过块哈希实现前缀缓存;KV池采用writ...
-
显存账本:每张卡上住着什么,搬走付什么
本文介绍训练大模型时显存管理的通用记账方法。显存分为五类:权重、梯度、优化器状态、激活和通信缓冲。前三类由参数量和并行度决定,激活随输入长度增长,优化空间...