小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Kimi K3 模型结构(10):RL 与服务,状态住在哪里

本文介绍Kimi K3模型在1M上下文强化学习与线上服务中的系统设计,核心是状态管理。KV块和KDA状态通过write-back策略在GPU与DRAM池间迁移,训练态让位NVMe,参考模型权重借梯度缓冲槽位流入GPU,沙箱支持pause/fork/snapshot,集群调度采用缓存亲和与预算准入,确保资源高效利用。

Kimi K3 模型结构(10):RL 与服务,状态住在哪里

Java不加糖's Blog Java不加糖's Blog · 2026-09-05T21:00:00Z
在Kubernetes上构建AI工厂

AI工厂是共享GPU基础设施的平台,核心挑战是利用率与租户隔离。通过Kubernetes原生工具(如DRA、MIG、vCluster)实现资源分配与安全隔离,结合网络、存储、可观测性及可靠性层,支持多团队高效协作。关键在于平衡密度、隔离与成本,并确保拓扑感知调度,而非单纯部署技术。

在Kubernetes上构建AI工厂

Cloud Native Computing Foundation Cloud Native Computing Foundation · 2026-08-27T11:30:00Z
音视频中台与传统架构有何不同

本文对比传统烟囱式架构与音视频中台架构,从架构设计、资源利用、运维效率、扩展灵活性四维度分析差异。中台通过统一能力网关、全局资源调度、集中运维和模块化组合,提升复用率、降低复杂度,适合多场景企业;单场景仍可直接集成SDK。

音视频中台与传统架构有何不同

实时互动网 实时互动网 · 2026-07-30T09:15:41Z
HDFS & YARN 高质量论文分析报告(2021–2026)

本文系统梳理了2021至2026年间HDFS与YARN领域的45篇高质量论文,按CCF等级、引用数等标准筛选。HDFS重点涵盖元数据可扩展性(如λFS、FMCache)与纠删码优化(如LESS),YARN聚焦深度学习GPU集群调度(如Hadar、Rubick)。报告按Tier分级推荐,并归类研究热点,为分布式存储与资源调度研究提供参考。

HDFS & YARN 高质量论文分析报告(2021–2026)

小令童鞋 小令童鞋 · 2026-07-19T06:47:25Z
国产 GPU 如何丝滑融入 K8s?燧原科技的全栈云原生实践

燧原科技在深圳的HAMi社区Meetup上介绍了国产GPU在Kubernetes生态中的云原生集成方案,涵盖GPU Operator的全生命周期管理、资源调度、设备注入及推理优化。该方案通过标准化的CDI和DRA,提升国产GPU的管理效率与兼容性,解决设备不可见和资源管理复杂等问题,强调与HAMi的协作,推动异构算力的统一调度与优化,提升GPU利用率。

国产 GPU 如何丝滑融入 K8s?燧原科技的全栈云原生实践

dotNET跨平台 dotNET跨平台 · 2026-05-19T00:00:00Z

文章讨论了三种工程术语:提示工程、上下文工程和代理管理。提示工程关注与模型的交流方式;上下文工程强调提供模型所需的信息;代理管理涉及代理生命周期的资源调度。这三者解决不同层次的问题,混淆可能导致错误的解决方案。

代理工程的三种演变

Finisky Garden Finisky Garden · 2026-04-08T16:19:33Z
超越批处理:Volcano演变为AI原生统一调度平台

随着大型语言模型的发展,Kubernetes成为智能系统的重要平台。新功能如Volcano v1.14、Kthena v0.3.0和AgentCube提升了资源调度效率,简化了大模型部署,并支持异构自动扩展,推动AI基础设施进步。

超越批处理:Volcano演变为AI原生统一调度平台

Cloud Native Computing Foundation Cloud Native Computing Foundation · 2026-03-23T08:00:00Z
Kimi K2.5 带来了一个「蜂群时刻」

K2.5 更新引发热议,推出多模态模型和自主智能体集群,支持任务分解与资源调度。用户可体验免费功能,付费集群模式适用于特定计划。Kimi 高效处理文档和信息检索,展现强大并行能力。未来将优化调度、增强协作,拓展工具集成,推动 AI 发展。

Kimi K2.5 带来了一个「蜂群时刻」

爱范儿 爱范儿 · 2026-02-04T05:20:39Z
Kubernetes:充分利用动态资源分配

随着数据中心电力和硬件成本上升,组织们在Kubernetes上运行AI项目时寻求提高效率。Cloud Native Computing Foundation推出了Kubernetes调度器的增强功能DRA,允许用户更精确地分配资源,通过新的API提供设备属性,优化资源调度,提升GPU和CPU集群的性能。

Kubernetes:充分利用动态资源分配

The New Stack The New Stack · 2025-12-23T14:00:44Z
Google ADK 深度探索(一):“一等公民”上下文 Context 解析

本文探讨了 Google ADK 的上下文机制及其在智能体开发中的重要性。上下文管理通过会话状态、数据传递和服务访问,解决了状态维护和资源调度问题。ADK 的设计提升了上下文管理效率,使智能体有效运行并保持状态记忆,同时提供简洁的开发接口。

Google ADK 深度探索(一):“一等公民”上下文 Context 解析

乱世浮生 乱世浮生 · 2025-12-14T14:05:52Z
您可能未充分利用您的GPU

Mithril的多云平台整合了GPU、CPU和存储,旨在解决GPU利用率低的问题。创始人Jared Quincy Davis指出,市场资源配置不当导致许多GPU未被有效利用,呼吁更灵活的资源调度和定价模型以提升效率。

您可能未充分利用您的GPU

Stack Overflow Blog Stack Overflow Blog · 2025-11-25T08:40:00Z
基于 HAMi 的 GPU 虚拟化实践

本文探讨了在Kubernetes环境中使用HAMi实现GPU资源的虚拟化与调度,以满足小模型和大模型对显存与算力的隔离需求。HAMi通过智能调度和资源管理,提高了GPU的利用效率,解决了Nvidia现有方案的不足之处。

基于 HAMi 的 GPU 虚拟化实践

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2025-09-24T02:58:52Z
Kubernetes入门:针对GPU工作负载的动态资源分配(DRA)

动态资源分配(DRA)是Kubernetes的新特性,旨在提高GPU等专用硬件的管理效率。与传统设备插件架构相比,DRA支持动态资源分配、共享和细粒度配置,解决了资源利用不足的问题。通过新API对象如资源声明和设备类别,DRA优化了资源调度和管理,以适应现代工作负载需求。

Kubernetes入门:针对GPU工作负载的动态资源分配(DRA)

The New Stack The New Stack · 2025-09-05T14:00:38Z
GAEA与DEPIN的关系

GAEA与DEPIN结合,实现去中心化AI与物理基础设施的深度融合,解决基础设施不足和资源调度不均的问题。GAEA整合物理资源,DEPIN提供基础设施支持,降低成本、提升资源利用率。通过智能合约,确保资源调度的公平性与透明性,增强网络可靠性与稳定性,保护数据隐私。

GAEA与DEPIN的关系

DEV Community DEV Community · 2024-12-27T05:06:06Z

本文探讨了深度学习在5G及B5G网络资源调度中的应用,介绍了多种深度学习模型及其在无线网络资源分配中的研究进展。研究表明,深度学习技术能够有效优化频谱和功率分配,提高网络性能和用户成功率。

认知无线电网络的深度学习框架:综述与开放研究挑战

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-31T00:00:00Z

本文介绍了 WirelessLLM 框架,旨在将大型语言模型应用于无线通信,解决其独特挑战。探讨了知识对齐、融合和演进等原则,关键技术包括提示工程和领域特定微调。研究展示了 WirelessLLM 在无线网络中的应用及未来发展方向,强调了 LLM 在电信领域的潜力和资源调度架构的高效性。

LLM 在无线通信系统中的资源分配

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-08-06T00:00:00Z

本文介绍了多个基于机器学习的系统和方法,旨在优化资源调度、提高性能和降低成本。InferLine系统通过自动调整阈值优化ML预测流程,InfAdapter系统通过资源分配满足延迟服务目标。此外,研究提出了新的分布式执行框架和在线调度算法,以提升系统效率和性能。

StraightLine:一种面向机器学习应用请求的端到端资源感知调度器

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-07-25T00:00:00Z

本文提出了一种基于模糊逻辑的自动协商资源调度系统,利用机器学习模型提高处理速度。研究了拍卖中的售价策略、无悔出价算法及资源分配问题,探讨了多智能体系统的社会福利和优化方法,并提出了在线广告竞价策略的自然策略逻辑。

谈判者的备选方案:具有保留价值的最优让步

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-30T00:00:00Z

本文探讨了云计算与机器学习在安全性、资源调度和智能物联网中的应用。研究表明,机器学习能够提升云服务的安全性和效率,解决资源利用率低和负载不平衡的问题。结合物联网和边缘计算可进一步增强系统性能。文章还分析了区块链和人工智能等新兴技术对云计算的影响,并提出了优化方法和框架。

云计算模型中金融信息风险的智能预测与评估

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-14T00:00:00Z

本文探讨了利用机器学习优化云计算资源调度和管理的方法,重点分析了低资源利用率和负载不平衡的问题。研究提出了深度学习和遗传算法等解决方案,以提升系统性能和效率,并讨论了资源分配、网络资源和能源消耗等因素,为构建高效、绿色的云计算数据中心提供参考。

虚拟机迁移优化的动态资源分配及机器学习

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-03-20T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码