➡️
继续阅读
-
图片一多首字就慢？用EPD拆开多模态推理三段路
多模态推理采用EPD拆分，将视觉编码、预填充、解码分队列调度，以缓解图片请求阻塞文字请求的队头阻塞。NVIDIA测试显示，图片密集负载下首字延迟最高快5倍...
-
Chip Huyen 讲解如何在不添置新硬件的情况下降低推理成本
Chip Huyen在P99大会上指出，模型训练是一次性成本，推理成本则反复发生，比例可达1:10至1:100。她建议关注首token延迟和goodput...
-
Waymo靠边停车，因乘客携带幽灵枪而报警
两名青少年在旧金山乘坐Waymo自动驾驶出租车时，车内系统检测到他们携带上膛的AR式幽灵枪，违反服务条款。车辆随即靠边停车并报警，两人被捕并送往少年拘留所...
-
“机器翻译对世界上大多数语言来说仍然很糟糕”：Cohere 出于特定原因构建非推理模型
Cohere发布开源机器翻译模型North Small Translate，采用混合专家架构，总参数2180亿、激活250亿，支持50种语言。模型面向企业...
-
机器没有在“思考”
文章梳理AI发展史，指出符号主义与联结主义几经起落，繁荣源于期望，寒冬源于期望落空。作者认为机器并未真正思考，只是处理符号统计关系，不懂语言意义。真正该担...
-
它通过了CI，也通过了你的评估。客户拿到的却仍是错误答案。
AI功能存在可观测性缺口：传统服务故障明显，AI代理却会静默返回错误答案。以支持代理为例，通过分布式追踪可定位问题——检索时版本过滤为空导致返回旧版文档，...
