➡️
继续阅读
-
5分钟详解9项关键LLM推理指标
本文介绍评估大模型推理性能的九项关键指标:单请求延迟包括首令牌时间(TTFT)、端到端延迟、令牌生成时间、每输出令牌时间(TPOT)和令牌间延迟(ITL)...
-
Meta凭借将AI基础设施部署时间从数小时缩短至数分钟荣获CNCF最终用户案例研究竞赛奖
Meta云基础团队基于Argo CD和Kargo构建GitOps平台,管理约100个支撑AI研究与推理的Kubernetes集群,将常规应用部署时间从4小...
-
日本家居巨头宜得利遭到黑客攻击 最多可能有3762万条客户敏感信息被窃取
日本家居零售巨头宜得利遭黑客攻击,最多3762万条客户信息可能泄露,包括姓名、地址、邮箱、电话、生日、性别及订单记录,或用于冒充诈骗。公司已通知受影响客户...
-
Observe.AI 如何利用 MongoDB 重分片扩展其 AI 平台
Observe.AI 的 AI 平台以 MongoDB Atlas 为数据层,存储对话与模型配置,支撑超100个集群、50TB数据。随着数据增长,原两分片...
-
我们正目睹乔布斯后科技史上最严重的逼宫
文章以乔布斯1985年被逐出苹果作比,聚焦黄仁勋面临的逼宫危机:媒体曝其婚外情牵涉公司高管与敏感商业往来,英伟达董事会拟开会决定其去留,博彩市场罢免概率骤...
-
推出 MongoDB Vercel AI SDK 集成:为 AI 应用提供持久化记忆
MongoDB 发布 Vercel AI SDK 集成,将 MongoDB Atlas 作为 AI 应用的持久化记忆库,自动存储会话、语义、程序、情景和临...