➡️
继续阅读
-
小模型推理别只看吞吐,先把超时的请求扣掉
文章讨论小参数语言模型在搜推场景的推理优化,核心是在延迟约束下追求有效吞吐,而非单纯追求吞吐数字。压测应将超时请求计为失败,明确端到端延迟预算并区分排队与...
-
燧原科技首秀国芯展,带来云燧ESL64-O超节点
2026年国芯展上,燧原科技首次参展,展示高性能超节点系统及软件平台能力,分享国产算力在工业、泛互联网等场景的落地实践,其“国芯国模高效能适配优化系统”获...
-
Álvaro Hernández:开源 Citus 以一半的数据节点实现 1000 万 QPS,与 PlanetScale 的 Neki 持平
StackGres 团队使用开源 Citus 在 EKS 上进行基准测试,在单行主键读、无写入场景下,以 24 个 worker 和 48 个查询路由器实...
-
推进生成式推荐推理:我们与NVIDIA在TensorRT LLM上的合作
Spotify将生成式AI用于播客推荐,采用基于语义ID的生成式检索与beam search生成候选。因vLLM的beam search效率有限,Spot...
-
Agent流量怎么抢:谁有流量谁定新标准
文章讨论AI Agent争夺流量的现状:亚马逊、微信等一线平台封杀外部Agent,沃尔玛、京东等二线平台选择靠拢,多数网站仍不设防。Agent进入现有流量...
-
备份也会被删:比任务成功更该检查的是恢复路径
备份任务成功不代表数据安全:管理员账号失守时备份可能被删除。应检查备份脚本账号是否具备删除权限,分离写入与清理权限,并评估保留锁定和离线副本。恢复演练须在...