小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
从零开始共享 GPU:使用 HAMi 在 Kubernetes 中动手实践 GPU 调度

该工作坊在 ContainerDays 2026 新加坡站介绍 CNCF 孵化项目 HAMi 的 GPU 共享方案:借助 kind 集群与模拟设备插件伪造两块 A100-40GB 显卡,无需真实 GPU 即可观察调度过程。内容涵盖 GPU 共享动机(避免大卡被小任务独占)、HAMi 架构(webhook、调度器扩展、设备插件等)以及按显存和算力申请切片;四个实验分别覆盖安装、GPU 共享与拦截链、binpack 与 spread 调度策略、KAI Scheduler 与 Volcano vGPU 等扩展路径,最后介绍指标与 WebUI。

从零开始共享 GPU:使用 HAMi 在 Kubernetes 中动手实践 GPU 调度

云原生 云原生 · 2026-10-24T09:15:47Z
首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效

是石科技发布TokenFleet分布式调度框架,聚焦请求路由、跨机房容量协同与混合负载治理。其中TokenPilot兼顾缓存复用与排队代价选择节点,FleetMind协同多机房可用容量,SLOMax按服务等级分池排队。框架以达标输出吞吐(Goodput)为优化目标,测算显示达标吞吐提高约29.4%,达标比例从约67%升至约86%。

首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效

量子位 量子位 · 2026-10-20T08:01:25Z

Kueue 管理的 Job 可能因未获准入而挂起。Headlamp 的 Kueue 插件(0.1.0-alpha,只读)可查看 Workload、LocalQueue、ClusterQueue、ResourceFlavor 和 Cohort。排查时先看 Workload 的 Admitted 与 QuotaReserved 条件:未准入则检查队列配额;已准入但 Pod 仍 Pending,则转查调度事件。

为什么我的 Kubernetes Job 仍然处于 Pending 状态?使用 Headlamp 追踪 Kueue 准入

Kubernetes Blog Kubernetes Blog · 2026-10-14T18:35:00Z
调度效率提升80%!商汤大装置助力上海量子城市首批智能体落地

商汤与上海规划资源局升级“云宇星空大模型”,发布防汛、空间洞察、规划更新三类政务智能体,由商汤研发交付。模型强化空间推理与任务执行,构建智能体平台,实现模型调度、数据供给与任务执行,落地后调度效率显著提升,推动城市治理智能化。

调度效率提升80%!商汤大装置助力上海量子城市首批智能体落地

量子位 量子位 · 2026-10-14T04:09:29Z
Kubernetes的污点和容忍(下篇) - 编程一生

Kubernetes污点与容忍用于控制Pod调度:可为特定用户或特殊硬件(如GPU)节点打污点,仅允许带容忍的Pod调度;NoExecute污点可驱逐不容忍的Pod,并通过tolerationSeconds控制停留时间。节点故障时系统自动添加not-ready、unreachable等污点,默认容忍300秒;DaemonSet的Pod永不被驱逐。

Kubernetes的污点和容忍(下篇) - 编程一生

编程一生 编程一生 · 2026-10-06T02:42:00Z
Kubernetes的DaemonSet(上篇) - 编程一生

Kubernetes DaemonSet 确保每个节点运行一个 Pod 实例,节点加入或移除时自动增删 Pod,删除 DaemonSet 会清理其 Pod。典型用途包括节点存储、日志收集和监控代理。文中给出 fluentd-elasticsearch 的 YAML 示例,并说明 spec 必需字段、Pod 模板、选择器、nodeSelector 与 affinity,以及调度方式从 DaemonSet 控制器改为默认调度器,并支持污点与容忍。

Kubernetes的DaemonSet(上篇) - 编程一生

编程一生 编程一生 · 2026-10-03T02:44:00Z
异步 Rust:调度器究竟在哪里?

异步Rust需要运行时,这是并发编程的固有代价,调度器必须存在。Rust将运行时作为crate而非内置,以保持嵌入式和FFI能力,但导致Tokio默认化、Send约束扩散和生态分裂。作者主张调度器应像Zig那样作为参数显式传递,从而可追踪阻塞、避免函数着色并实现运行时无关。

异步 Rust:调度器究竟在哪里?

MOND←TECH MAGAZINE MOND←TECH MAGAZINE · 2026-10-03T00:00:00Z
基元律动韩凯:从多模型调度到反馈闭环,探索Agent持续进化

在2026杭州云栖大会上,基元律动CTO韩凯指出,多模型异构并存将成为长期趋势。其开源项目OpenSquilla通过模型路由,在保持99.96%任务质量的同时降低成本88.9%。他还提出面向RSI的反馈闭环,将Agent运行经验用于模型迭代,NeoHorse-1系列模型经后训练后多项评测得分提升,初步验证了该路径可行。

基元律动韩凯:从多模型调度到反馈闭环,探索Agent持续进化

量子位 量子位 · 2026-09-22T10:06:34Z
从 ColorOS 17 看手机系统升级:渲染、调度和 AI 最后都要落到稳定性上

ColorOS 17在开发者大会发布,将随Find X10、一加16等新机推送,重点升级渲染、调度和AI。文章指出系统升级关键在于稳定性:渲染优化需解决卡顿、ANR和长尾机型问题;调度影响后台保活与长连接,厂商应细化兼容性说明;AI深入系统后需处理权限、耗电和灰度回滚。建议开发者提前测试启动、通知、支付等链路。

从 ColorOS 17 看手机系统升级:渲染、调度和 AI 最后都要落到稳定性上

mongona news mongona news · 2026-09-19T22:39:23Z
第 0 篇|从 Ray 到 Kubernetes:KubeRay 与 Volcano 各自解决什么问题

本系列文章阅读KubeRay与Volcano源码。Ray以task和actor表达分布式计算,Kubernetes以Pod管理容器部署;KubeRay通过CRD和Operator管理RayCluster、RayJob等资源,Volcano提供Gang成组调度与队列资源共享。系列共十篇:前五篇追踪RayJob从提交到Pod运行的协调与恢复,后四篇引入Volcano分析批调度。

第 0 篇|从 Ray 到 Kubernetes:KubeRay 与 Volcano 各自解决什么问题

谭新宇的博客 谭新宇的博客 · 2026-09-15T15:45:00Z
第 7 篇|Volcano Gang 调度:成组分配与绑定

本文解析 Volcano 调度器如何满足 Gang 约束:调度从缓存快照开启 Session,依次执行 enqueue、allocate 等阶段。enqueue 判断作业能否进入调度,allocate 用 Statement 试分配资源,若成员未达最低数则 Discard 撤销。满足门槛后 Commit 并异步绑定,但绑定可能部分失败,Gang 不保证全部 Pod 同时启动。

第 7 篇|Volcano Gang 调度:成组分配与绑定

谭新宇的博客 谭新宇的博客 · 2026-09-15T15:10:00Z
第 8 篇|Volcano 资源竞争:队列份额与作业调度

本文解析 Volcano 多作业资源共享与竞争机制:Queue 通过 proportion 插件按权重、需求、上限和保障量计算 deserved 份额;DRF 以主导资源份额排序作业;preempt 处理队列内抢占,reclaim 处理跨队列回收,均需检查优先级、可抢占性、Gang 与节点约束。驱逐后资源不会立即可用,Ray 任务可能无法无损恢复。

第 8 篇|Volcano 资源竞争:队列份额与作业调度

谭新宇的博客 谭新宇的博客 · 2026-09-15T15:05:00Z
第 9 篇|KubeRay 与 Volcano:接入与生命周期协作

KubeRay Operator 通过 Volcano 适配器将 RayJob 转换为 PodGroup 等调度资源。适配器创建 PodGroup,设置 owner 引用、分组注解和 schedulerName;最低成员数不含 submitter 以避免启动死锁,但其资源仍提前计入。资源计算基于模板 requests,未涵盖 init 容器等。收尾时按存活集群重算需求,而非直接清零。

第 9 篇|KubeRay 与 Volcano:接入与生命周期协作

谭新宇的博客 谭新宇的博客 · 2026-09-15T15:00:00Z
第 10 篇|总结:从 KubeRay 与 Volcano 看 Operator 设计

本文总结KubeRay与Volcano源码阅读:用户提交RayJob后,KubeRay创建RayCluster及head、worker Pod,集群就绪后由submitter经Ray Jobs API提交程序。启用Volcano时,先写PodGroup,再在Pod上标注调度器与组信息,由Volcano负责Pod绑定。KubeRay协调、Volcano调度与Ray运行时三套循环通过Kubernetes对象和Ray API衔接,各自独立重试。恢复依赖可重建状态链,高可用需分层看待。

第 10 篇|总结:从 KubeRay 与 Volcano 看 Operator 设计

谭新宇的博客 谭新宇的博客 · 2026-09-15T14:55:00Z

Kubernetes v1.37 引入原地 Pod 调整的调度器抢占(Alpha)。当高优先级 Pod 扩容超出节点容量而被延迟时,调度器可抢占同节点低优先级工作负载,释放资源使扩容完成。该机制与 Kubelet 职责分离,支持节点级禁用策略,提升集群利用率并保障关键服务。

Kubernetes v1.37:原地 Pod 调整的调度器抢占(Alpha)

Kubernetes Blog Kubernetes Blog · 2026-09-10T18:30:00Z

Kubernetes v1.37将Workload/PodGroup API及gang调度升级为Beta,引入CompositePodGroup API支持多层级调度和拓扑感知,并扩展抢占与DRA共享。新增控制器集成API和workloadbuilder库,Job控制器原生支持显式调度。这些改进旨在优化AI/ML等复杂批处理工作负载的调度效率。

Kubernetes v1.37:推进工作负载感知调度

Kubernetes Blog Kubernetes Blog · 2026-09-08T18:30:00Z
推理服务的缓存与调度:前缀、多级存储、集群路由

本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级,因此设计围绕复用展开:单实例内通过块哈希实现前缀缓存;KV池采用write-back策略在GPU、DRAM、SSD间分层存储;集群层面用一致性哈希实现缓存亲和,并按请求类别分配预算以应对长请求突发。

推理服务的缓存与调度:前缀、多级存储、集群路由

Java不加糖's Blog Java不加糖's Blog · 2026-09-05T23:30:00Z
流水线并行:1F1B、虚拟段与气泡

本文介绍流水线并行中气泡的产生与优化。将模型按层切段、批次分微批后,段间等待形成气泡。四代调度各改一点:GPipe先全前向再全反向,显存高;1F1B改交替执行,减少在途激活;Interleaved 1F1B切细段降气泡,但增通信;Zero Bubble拆反向填气泡。气泡占比约(P−1)/m,显存峰值随段数变化。

流水线并行:1F1B、虚拟段与气泡

Java不加糖's Blog Java不加糖's Blog · 2026-09-05T22:00:00Z
为什么GPU调度很重要:从调度全景到验证HAMi互斥语义

GPU调度需依次解决三个层次的问题:选择节点、选择卡、确定卡在机器内的位置。本文基于三层框架分析HAMi v2.10的策略链,并澄清常见误解:互斥并非排斥其他互斥Pod,而是要求独占整张卡。结论通过可在笔记本上复现的关键实验得出。

为什么GPU调度很重要:从调度全景到验证HAMi互斥语义

云原生 云原生 · 2026-08-28T07:38:12Z
DB-Scheduler vs Quartz:一张表干掉11张表的Java调度神器

DB-Scheduler是一款基于数据库的Java任务调度库,仅需一张表即可实现集群部署和任务持久化,吞吐量可达每秒2000至10000次。它采用乐观锁和心跳机制管理任务,但存在长任务重复执行、不支持毫秒级精度、缺乏监控等局限。相比Quartz的11张表,它更简洁高效,适合简单场景,但复杂需求下可能成为瓶颈。

DB-Scheduler vs Quartz:一张表干掉11张表的Java调度神器

极道 极道 · 2026-08-24T00:10:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码