➡️
继续阅读
-
ChatGPT服务10亿周用户后,最难扩展的可能不是模型
OpenAI披露Habitat存储平台,每秒处理超7000万请求、500PB数据,支撑10亿周用户。该平台从Python客户端库演变为统一服务,2026年...
-
同一套GPU多服务2.5倍用户,关键不是换模型
NVIDIA测试显示,四张B200运行Nemotron 3 Ultra,在每用户50 Token/s延迟目标下,启用NIM优化栈后并发承载从718提升至1...
-
白宫称Truth Social是“全球最强大最受欢迎的社交平台”
白宫称特朗普旗下Truth Social是“全球最强大最受欢迎社交平台”,但数据显示其未入前十,7月访问量同比降36%,且平台推出每月10万美元订阅服务引发腐败担忧。
-
Chip Huyen 讲解如何在不添置新硬件的情况下降低推理成本
Chip Huyen在P99大会上指出,模型训练是一次性成本,推理成本则反复发生,比例可达1:10至1:100。她建议关注首token延迟和goodput...
-
Waymo靠边停车,因乘客携带幽灵枪而报警
两名青少年在旧金山乘坐Waymo自动驾驶出租车时,车内系统检测到他们携带上膛的AR式幽灵枪,违反服务条款。车辆随即靠边停车并报警,两人被捕并送往少年拘留所...
-
“机器翻译对世界上大多数语言来说仍然很糟糕”:Cohere 出于特定原因构建非推理模型
Cohere发布开源机器翻译模型North Small Translate,采用混合专家架构,总参数2180亿、激活250亿,支持50种语言。模型面向企业...