➡️
继续阅读
-
图片一多首字就慢?用EPD拆开多模态推理三段路
多模态推理采用EPD拆分,将视觉编码、预填充、解码分队列调度,以缓解图片请求阻塞文字请求的队头阻塞。NVIDIA测试显示,图片密集负载下首字延迟最高快5倍...
-
Termexo 修终端空白问题:AI 编码工作台先得让人看得见进程
Termexo v0.8.7 修复了终端空白、宽字符处理和重绘阻塞问题,并改用 avt 解析器。作者指出,AI 编码工具常驻终端,界面空白会导致用户误判进...
-
AI编码助手的日志也会泄密:先划清明文边界
阿里云提出AI日志三层保护方案:采集端脱敏、入库前治理、入库后加密。核心原则是明文边界优先,脱敏、对称加密、信封加密各适用于不同场景。Pilot默认不脱敏...
-
Chip Huyen 讲解如何在不添置新硬件的情况下降低推理成本
Chip Huyen在P99大会上指出,模型训练是一次性成本,推理成本则反复发生,比例可达1:10至1:100。她建议关注首token延迟和goodput...
-
Waymo靠边停车,因乘客携带幽灵枪而报警
两名青少年在旧金山乘坐Waymo自动驾驶出租车时,车内系统检测到他们携带上膛的AR式幽灵枪,违反服务条款。车辆随即靠边停车并报警,两人被捕并送往少年拘留所...
-
“机器翻译对世界上大多数语言来说仍然很糟糕”:Cohere 出于特定原因构建非推理模型
Cohere发布开源机器翻译模型North Small Translate,采用混合专家架构,总参数2180亿、激活250亿,支持50种语言。模型面向企业...