➡️
继续阅读
-
图片一多首字就慢？用EPD拆开多模态推理三段路
多模态推理采用EPD拆分，将视觉编码、预填充、解码分队列调度，以缓解图片请求阻塞文字请求的队头阻塞。NVIDIA测试显示，图片密集负载下首字延迟最高快5倍...
-
Go 构建服务 — HTTP、信号、迁移与反射
本文介绍Go服务开发的实用模式：使用net/http构建HTTP服务与客户端，涵盖处理器、ServeMux路由、JSON API及中间件；通过os/sig...
-
ChatGPT服务10亿周用户后，最难扩展的可能不是模型
OpenAI披露Habitat存储平台，每秒处理超7000万请求、500PB数据，支撑10亿周用户。该平台从Python客户端库演变为统一服务，2026年...
-
同一套GPU多服务2.5倍用户，关键不是换模型
NVIDIA测试显示，四张B200运行Nemotron 3 Ultra，在每用户50 Token/s延迟目标下，启用NIM优化栈后并发承载从718提升至1...
-
Chip Huyen 讲解如何在不添置新硬件的情况下降低推理成本
Chip Huyen在P99大会上指出，模型训练是一次性成本，推理成本则反复发生，比例可达1:10至1:100。她建议关注首token延迟和goodput...
-
Waymo靠边停车，因乘客携带幽灵枪而报警
两名青少年在旧金山乘坐Waymo自动驾驶出租车时，车内系统检测到他们携带上膛的AR式幽灵枪，违反服务条款。车辆随即靠边停车并报警，两人被捕并送往少年拘留所...
