➡️
继续阅读
-
痴迷优化:我们将推理成本削减了68%
Cloudflare优化其AI代码审查代理,将平均审查成本从2.43美元降至0.77美元(降68%),中位耗时从4分09秒缩短至1分32秒。约40%的节省...
-
薄编排器:如何通过减少路由器的职责让我们的AI代理更可靠
Meta的数据管道AI代理最初采用单一全能代理,但在生产环境中因上下文过载而频繁产生幻觉。团队随后改为“薄编排器”架构:由1300行确定性路由器负责意图分...
-
DeepSeek凭低价AI模型成名,如今又在压低搜索API对手的价格。
DeepSeek推出自研搜索引擎API(Search与Fetch),每千次成功请求收费0.75美元,可独立于其AI模型使用,支持实时网页检索与Markdo...
-
日均6万亿Token服务背后,商汤大装置如何提升推理效能?
商汤大装置CTO宣善明指出,Agentic时代Token需求将增长千倍,AI基础设施须从规模扩张转向效率优化。商汤通过PD分离与异构混合调度构建万卡级推理...
-
RAIL:从人类认知能力视角重新审视大型音频语言模型的听觉智能
RAIL借鉴CHC认知框架,将音频评测重构为听觉处理、推理、记忆、知识、处理效率五类能力、32项细分任务,构建5306条样本。评估26款音频大模型发现:模...
-
MLIR 静态内存规划器:GSoC 2026 之旅
本文介绍GSoC 2026项目:为MLIR构建静态内存规划器。该工具在bufferization后利用显式缓冲区生命周期,将多个堆分配合并为单一静态are...