小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
【大模型基础设施工程·特别篇】32:AI 集群存储与分布式 KV 缓存系统

本文讨论AI集群的存储与分布式KV缓存:训练随机读、Checkpoint脉冲写、推理KV加载三类负载会压垮传统NAS;DeepSeek 3FS以FoundationDB元数据、CRAQ强一致复制、USRBIO零拷贝实现高吞吐;推理侧从CachedAttention、SGLang HiCache到Mooncake、CacheBlend、NIXL,将闲置内存与NVMe池化为KV缓存;解析模型显示MLA大幅降低卸载盈亏门槛;生产要点包括cache_salt隔离、元数据风暴、超时回退与RDMA隔离。

【大模型基础设施工程·特别篇】32:AI 集群存储与分布式 KV 缓存系统

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-11-19T00:00:00Z
【大模型基础设施工程·特别篇】33:RLVR 与 Agentic 后训练基础设施实战

文章讨论长思维链RLVR与多轮Agentic后训练的系统工程。同步RL在16K–128K重尾轨迹下利用率骤降,并发256时仅16.2%,64K帕累托重尾低至7.6%。架构从共卡同步(veRL、slime)演进到异步解耦流式(AReaL、StreamRL、PipelineRL)。FP8推理与BF16训练的数值失配即使零陈旧度也会隐式离策略,需TIS、DAPO、GSPO、R3修正。验证器需突发隔离沙箱与分级超时;多轮需跨轮KV复用、增量分词与loss_mask=0。最后给出选型决策与上线前核查。

【大模型基础设施工程·特别篇】33:RLVR 与 Agentic 后训练基础设施实战

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-11-19T00:00:00Z
【大模型基础设施工程·特别篇】34:多模态与视频生成(DiT / 全模态)推理基础设施

纯文本连续批处理引擎难以支撑多模态负载:VLM的ViT编码脉冲会阻塞Decode,视频DiT需平方级双向注意力且末端3D VAE解码易OOM,全双工语音受80ms帧节拍与插话回滚约束。文章提出VLM走EPD分离加视觉嵌入缓存,视频DiT用CFG×USP/PipeFusion并行、TeaCache与步数蒸馏加速、BF16分块解码,语音用Moshi或Thinker-Talker原生流式,并强调小图直通、头数整除、缓存与蒸馏互斥等落地边界。

【大模型基础设施工程·特别篇】34:多模态与视频生成(DiT / 全模态)推理基础设施

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-11-19T00:00:00Z
【大模型基础设施工程·特别篇】35:Agent 执行沙箱与运行时隔离基础设施

文章指出,Agent执行不可信代码时,标准容器共享宿主机内核,不能作为多租户安全边界。应按硬件条件选择隔离方案:加固容器、gVisor、Firecracker/Kata微虚机或Wasm。快照克隆须重置熵池、网络身份与时钟,并用REAP预取缓解缺页风暴。沙箱须无凭据,由宿主机统一拦截元数据、私网与DNS隧道,经L7代理注入凭证。最后按短任务、持久工作区、桌面三类拓扑选型。

【大模型基础设施工程·特别篇】35:Agent 执行沙箱与运行时隔离基础设施

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-11-19T00:00:00Z
Comviva助力Grameenphone消息服务基础设施现代化

Comviva与孟加拉国运营商Grameenphone达成战略合作,采用Comviva的UNO Messaging套件推动其消息服务基础设施现代化。合作整合云部署架构,升级短信、USSD和短信防火墙服务,以简化运维、增强消息安全、实现容量动态伸缩,并提高资源利用率、降低总拥有成本,为未来增长提供稳健平台。

Comviva助力Grameenphone消息服务基础设施现代化

全球TMT-美通国际 全球TMT-美通国际 · 2026-11-18T08:21:29Z
神雲科技在SC26展会上揭晓全方位AI基础设施生态系统

神雲科技在SC26展会发布全方位AI基础设施生态系统,联合AMD、NVIDIA等伙伴提供高可扩展AI工厂架构,结合液冷、解耦推理与端到端调度,应对代理式AI推理的算力、散热与传输瓶颈。其与Skymizer合作将Prefill交由GPU、Decode分配给HTX301加速卡,支持本地部署;并与AMD开发Helion代理式AI机柜,可扩展至32768个Zen 6核心,提升每瓦代理算力效率。

神雲科技在SC26展会上揭晓全方位AI基础设施生态系统

全球TMT-美通国际 全球TMT-美通国际 · 2026-11-17T08:34:19Z

2026年第三季度,全球主要通信基础设施企业业绩分化:思科营收185.2亿美元、净利增59%;爱立信净利降49%;诺基亚营收增10%、利润增95%;中兴通讯三季度营收增34%、净利增394.5%;康宁营收增18%、净利增58%;中国铁塔前三季营收降3.1%、利润增24.2%;亨通光电三季度净利增299%;中天科技前三季净利增71%。

思科、爱立信、诺基亚、中兴通讯、康宁、亨通光电等全球8大通讯基础设施企业2026年第三季度业绩汇总

全球TMT-美通国际 全球TMT-美通国际 · 2026-11-17T01:55:47Z
2026年SGLang峰会回顾:共建开放AI基础设施

首届SGLang峰会于11月在旧金山举行,超2000名开发者参加。会上宣布成立由九家创始成员组成的SGLang联盟,并发布SGLang v1.0和Miles v0.2。SGLang已服务332家机构,Meta借此实现超2倍GPU节省;Miles扩展至多硬件与多模态强化学习。峰会还展示了AI辅助优化成果,如AI编写的GPU内核使解码提速2倍。

2026年SGLang峰会回顾:共建开放AI基础设施

LMSYS Org LMSYS Org · 2026-11-17T00:00:00Z
全球最先进的AI基础设施供应链如何创造未来

英伟达运营负责人Deb Shoquist分享AI基础设施供应链管理经验:要求供应商具备顶尖技术、高度信任和勇于创新,并与台积电、富士康等长期合作;强调深入工厂、与一线人员建立信任以快速扩产;通过追踪每颗芯片、优先保障关键部件,将交付周期从五周缩短至两周;遇到自动化测试问题时跨部门团队迅速协作解决,体现“任务至上”文化。

全球最先进的AI基础设施供应链如何创造未来

NVIDIA Blog NVIDIA Blog · 2026-11-16T20:00:37Z

SuperX将于2026年11月17日至19日首次亮相美国芝加哥SC26展会,展示基于NVIDIA生态的全栈AI基础设施方案、AI Token平台及亚太交付能力。方案涵盖系统集成、模块化AIDC和全生命周期服务,公司已在日本、澳大利亚等地完成多批AI服务器交付。AI Token平台通过统一API、智能路由和集中管理,帮助用户接入第三方AI模型服务。

SuperX将携全栈AI基础设施方案亮相SC26

全球TMT-美通国际 全球TMT-美通国际 · 2026-11-13T02:03:38Z
微软Outlook宕机

微软Outlook全球宕机,网页版和App均无法访问。微软承认部分基础设施在多地区负载过高导致连接错误,已重新分配流量并重启受影响服务器,正调查流量激增原因。Teams基本正常。故障报告约美东时间下午1点激增,恢复时间未定。

微软Outlook宕机

The Verge The Verge · 2026-11-12T23:24:13Z

这篇 Databricks 于 2026 年 11 月 11 日发布的技术文章,核心主题是:通过 Genie 插件和 MCP,让 ChatGPT、Claude、Micros

企业AI正转向业务知识基础设施:知识层脱离模型独立存在

极道 极道 · 2026-11-12T10:00:00Z
让AI真正懂业务:璇玑如何成为企业AI的语义基础设施

企业AI的核心难题是模型缺乏对业务语义的理解。中兴“璇玑”以本体语义组织企业知识,连接业务概念与数据资源,支持自然语言问数、指标计算和规则推理,并让结果可复核;同时提供质量验证、版本管理和发布控制,使企业知识从一次性建模转向长期运营,成为连接知识与应用的AI基础设施。

让AI真正懂业务:璇玑如何成为企业AI的语义基础设施

量子位 量子位 · 2026-11-12T09:34:06Z
Meta凭借将AI基础设施部署时间从数小时缩短至数分钟荣获CNCF最终用户案例研究竞赛奖

Meta云基础团队基于Argo CD和Kargo构建GitOps平台,管理约100个支撑AI研究与推理的Kubernetes集群,将常规应用部署时间从4小时以上缩短至几分钟。该平台将应用交付与基础设施配置分离:Terraform负责基础设施,Argo CD依据Git配置同步部署,Kargo负责跨环境发布编排、自动健康检查和版本记录。开发者只需提供简短应用定义,平台即可自动生成配置。Meta计划推广该平台,并转向集中管理的Argo CD服务。

Meta凭借将AI基础设施部署时间从数小时缩短至数分钟荣获CNCF最终用户案例研究竞赛奖

Cloud Native Computing Foundation Cloud Native Computing Foundation · 2026-11-11T16:00:00Z
CNCF欢迎Adyen成为白金最终用户会员,共同推进开源金融基础设施发展

2026年11月,金融科技平台Adyen以白金最终用户身份加入CNCF,获得理事会和最终用户技术咨询委员会席位。Adyen运营逾100个Kubernetes集群,2025年处理交易额1.39万亿欧元,并开源了支持可审计kubectl exec访问的工具kubectl-rexec,旨在将生产级运维经验反馈给开源社区,推动金融基础设施安全可靠发展,同时避免供应商锁定。

CNCF欢迎Adyen成为白金最终用户会员,共同推进开源金融基础设施发展

Cloud Native Computing Foundation Cloud Native Computing Foundation · 2026-11-11T16:00:00Z
华为入选2026年Gartner基础设施平台消费服务魔力象限领导者象限

华为入选2026年Gartner基础设施平台消费服务魔力象限领导者象限,是三家领导者中唯一中国企业。该报告从平台能力、服务化交付、运营管理等多维度评估。华为DCS方案经18年积累,融合存储、计算、网络、虚拟化、数据与AI及智能管理,已服务170多个国家和地区超15000家客户,覆盖政府、金融、医疗、制造、运营商等行业。

华为入选2026年Gartner基础设施平台消费服务魔力象限领导者象限

全球TMT-美通国际 全球TMT-美通国际 · 2026-11-11T06:30:31Z

文章介绍UHP协议(统一驱动Agent harness的HTTP标准)的仓颉实现uhp-cj。作者指出,协议实现的主要精力用于厘清规格冲突而非编码:prose、openapi、schema三份来源常互相矛盾,最终以官方一致性套件为准,并记录了30条判定、逐条绑定测试锚点。SDK约1.4万行,其中一半是类型且仅部分可生成;两个适配器各970行,但成本分布相反。最终通过core、extended、full三档共104项检查,并强调并发需实测、默认保守串行。

uhp-cj:把 Agent harness 变成共享基础设施

东方星痕 东方星痕 · 2026-11-11T02:00:00Z

如果您正在运行云基础设施、托管 Web 应用程序或管理数据库,云账单(AWS、Vercel、Datadog、Supabase)可能会很快变得非常昂贵。 GitHub 上的开源 DevOps 生态系统已经发展成熟,小型团队和个人开发者可以在价格低廉的10-20 美元 VPS上运行企业级部署和监控设置。 以下是5 款值得立即关注的 突破性开源基础设施工具: 1. SigNoz – 开

5 款开源 GitHub 工具,取代每月 300 美元以上的云基础设施费用

极道 极道 · 2026-11-10T22:05:00Z
英伟达通过捐赠OpenShell及全新AI基础设施扩大开源承诺

在KubeCon上,英伟达宣布将开源智能体安全运行时OpenShell捐给CNCF,成为沙箱项目,并参与谷歌主导的Agent Substrate框架,以在Kubernetes上大规模运行智能体。同时发布DSX AI工厂平台新组件NVIDIA Kubernetes Engine、Kubernetes Recipes和Snapshot,帮助团队在Kubernetes上部署、管理和扩展GPU基础设施,加快推理启动与恢复。

英伟达通过捐赠OpenShell及全新AI基础设施扩大开源承诺

NVIDIA Blog NVIDIA Blog · 2026-11-10T16:00:03Z
CNCF迎来十二家新会员,各组织寻求在开放、主权基础设施上运行AI智能体

云原生计算基金会(CNCF)宣布新增12家银牌会员,覆盖主权云、AI智能体基础设施、容器安全和金融服务等领域。这些会员将带来数据主权、运营可见性、安全与管控方面的开放基础设施专长,帮助平台团队安全构建和管理AI工作负载。德国数字银行DKB作为新银牌最终用户会员加入。银牌会员可获价值超30万美元的培训、活动折扣及法律资源等权益。

CNCF迎来十二家新会员,各组织寻求在开放、主权基础设施上运行AI智能体

Cloud Native Computing Foundation Cloud Native Computing Foundation · 2026-11-10T16:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码