PD分离将LLM推理的Prefill(计算密集)与Decode(显存带宽密集)阶段拆分至独立资源池,以隔离干扰、优化TTFT和ITL,并允许按需配置硬件。它通过KV Cache传输衔接两阶段,但增加调度、网络和资源开销。仅当共置优化(如Chunked Prefill)无法满足SLO或资源需求不对称时,才值得采用。
无问芯穹在WAIC发布跨集群异构推理架构PDD,通过“P-RLD-MD”三级分离设计,利用本地中继掩盖以太网KV Cache传输延迟。实测首Token延迟降低51.5%,单Token成本降37.5%,有效提升异构算力调度效率,释放存量集群价值。
本文介绍了TiDB集群的四个核心组件及其功能:TiDB负责SQL解析和请求路由,TiKV处理分布式事务和数据存储,PD管理元数据和调度,TiFlash提供列存分析副本。理解各组件的独立性和复杂性有助于排查性能问题。接下来将深入探讨TiKV的具体实现与机制。
PD(Placement Driver)作为TiKV的调度中心,通过心跳机制收集集群状态,生成调度建议(Operator),并发送给Region Leader。调度过程异步,Leader可选择执行或跳过建议。PD使用Store心跳提供宏观视图,Region心跳提供精确位置。调度的基本单元是Operator,主要目标是负载均衡和副本管理,决策受限于放置规则和调度限制,以确保系统稳定性。
本文讨论了TiKV的HTAP内核,包括Region、Multi-Raft、PD和TiFlash等组件的功能与交互,重点分析了数据写入路径、事务处理及时间戳调度等关键机制,适合分布式存储工程师和研究生阅读。
TiKV 将集群数据视为全局有序的 Key-Value 大表,按 Key 切分为多个 Region。每个 Region 代表一个连续的 Key 区间,RegionEpoch 通过两个字段管理版本,确保请求有效性。每个 Region 由多个 Peer 组成 Raft 组,只有 Leader 处理读写请求。PD 负责均衡 Region 和 Leader 的分布,以提升容错能力和性能。
本文讨论了TiKV/PD/TiFlash的常见故障及其排查方法,包括Region过多、热点、TSO抖动、锁冲突和apply积压。每种故障都有相应的信号源和根因链,提供了排查框架和具体处理方向。强调信号与机制的关系,建议根据官方文档调整参数。
本文介绍了在昇腾NPU上通过Kthena实现DeepSeek-V4模型的P/D分离推理架构。P/D分离将推理过程分为Prefill和Decode两个阶段,以优化计算资源和吞吐率。使用Mooncake Connector实现KV Cache的高效传输,Kthena的ModelRoute负责请求路由和实例发现,验证了P/D分离的可行性,并支持灵活的P/D比例调整和多实例扩展。
本文介绍了如何使用STM32G431RBT6实现USB PD协议和DC-DC反馈控制,采用SC8701作为DC-DC控制器。设计了三种电流检测方案,验证了INA193和INA138在高侧采样中的性能,并讨论了恒压恒流反馈的实现方法,包括USB PD VBUS泄放电路的设计与计算。
本文介绍了如何使用STM32G431RBT6实现USB PD协议和DC-DC反馈控制,采用SC8701作为DC-DC控制器。设计了三种电流检测方案,验证了INA19x系列芯片在高侧和低侧采样的性能,并探讨了恒压恒流反馈的实现方法。此外,设计了USB PD VBUS泄放电路以满足规范要求,并提到了一些硬件改进和电子负载的开发进展。
在 MacOS 上使用 PD 替代 VMware 后,体验更佳,特别是对 Linux 的支持。使用 Linux 时,磁盘占用增加,需要执行 trim 命令释放空间。通过虚拟机设置可以自动回收磁盘空间,效果显著。
Prodigy Technovations Pvt. Ltd.升级了PGY-I3C-EX-PD I3C协议训练器,新增对高级管理协议的支持,帮助工程师验证基于I3C的应用层协议,提升开发效率和系统可靠性。该平台集成协议训练、流量生成和错误分析,支持I2C与I3C混合环境测试。
本文讨论了PD分离中transfer_kv控制面动作的优化,通过引入bypass和substep机制,提高了数据传输的及时性,确保源端在双请求和迁移场景中迅速开始KV搬迁。优化设计有效解决了时序问题,增强了系统性能和响应速度。
使用 STM32G431RBT6实现 USB PD 协议和 DC-DC 反馈控制。DC-DC 控制器选用 SC8701。本次的硬件电路作为开发板进行设计,带有一些额外的器件供外部调用、调试和复用。顺便验证一下高侧检流时使用 INA19x 系列芯片提取差模量来当做低侧检流的可行性。
本文介绍了如何使用STM32G431RBT6实现USB PD协议和DC-DC反馈控制,采用SC8701作为DC-DC控制器。设计了三种电流检测方案,验证了INA193和INA138在高侧采样中的性能,并讨论了恒压恒流反馈的实现,设计了泄放电路以满足USB Type-C规范。最后提到PD诱骗器的改进和升级。
对于 Mac 用户,最佳的 OpenClaw 安装方式是使用 Mac mini,若没有则可通过 Parallels Desktop 虚拟 macOS 系统。安装步骤简单,首先购买 Parallels Desktop,创建虚拟机并安装 OpenClaw。由于开发者多,支持和解决方案丰富,macOS 的无障碍性也使操作更便捷。
该项目基于SC8703芯片设计的升降压DC/DC电源模块,输入范围为2.7-36V,最大输出10A,效率高达95%。提供开源硬件资料,包括KICAD文件、Gerber文件和详细BOM表,适合DIY爱好者。
在PD分离部署中,异构显卡会增加跨机通信压力。通过RDMA设备加速kvcache传输,降低FTTL。安装驱动后可选择标准或兼容模式,兼容模式支持更多应用。性能测试显示eRDMA速度接近25.0 Gbps。配置和测试过程包括安装工具、查看设备信息及启动容器环境。
我们在PD分离部署方面取得新进展,KVT模块负责kvcache传输,设计实现零负载。通过解析层、控制层和传输层优化数据传输和容错处理,引入双请求模式以提高调度灵活性,支持多种后端,满足模型需求的演进。
完成下面两步后,将自动完成登录并继续当前操作。