➡️
继续阅读
-
推进生成式推荐推理:我们与NVIDIA在TensorRT LLM上的合作
Spotify将生成式AI用于播客推荐,采用基于语义ID的生成式检索与beam search生成候选。因vLLM的beam search效率有限,Spot...
-
AI Gateway 日志现已支持会话亲和性展示
AI Gateway logs now have a Sessions view that groups requests into sessions a...
-
TikTok封禁马斯克纪录片账号
Just ahead of the wider release of Alex Gibney's Musk documentary, TikTok...
-
工具箱支持在线装 WASM 插件之后,我会先查权限和回滚
ToolForge v0.1.10 的公开发布摘要提到在线安装插件与 WASM 插件方向。桌面工具箱变得可扩展后,维护问题也从应用本身延伸到插件包、更新来...
-
数据库同步工具接入本地模型,先划清数据能送到哪里
Jync 的更新提到本地模型接入,公开摘要同时介绍了异构数据库同步与轮询、日志 CDC 等能力。本文不猜测尚未披露的实现细节,而是从数据库运维角度讨论本地...
-
小模型推理别只看吞吐,先把超时的请求扣掉
文章讨论小参数语言模型在搜推场景的推理优化,核心是在延迟约束下追求有效吞吐,而非单纯追求吞吐数字。压测应将超时请求计为失败,明确端到端延迟预算并区分排队与...