小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
数据并行与 ZeRO:三级分片各省多少

本文介绍数据并行与ZeRO优化技术。ZeRO通过三级分片(优化器状态、梯度、权重)减少显存占用,前两级不增通信量,第三级需额外all-gather。ZeRO-1每参数4+12/N字节,ZeRO-2为2+14/N,ZeRO-3降至16/N。分片可放CPU,用双缓冲减少GPU占用,但需PCIe带宽支持。

数据并行与 ZeRO:三级分片各省多少

Java不加糖's Blog Java不加糖's Blog · 2026-09-05T22:30:00Z
省 token 故事 · 各自为政 - 编程一生

多智能体并行虽高效,但每个智能体需独立上下文,重复阅读文件导致token成本高。自查不可靠,需独立质检。任务书应自包含且窄,验收独立派人,能串行则不并行。核心判据:任务拆分后所需背景越少越适合并行,否则协作成本高,无人掌握全局最贵。

省 token 故事 · 各自为政 - 编程一生

编程一生 编程一生 · 2026-09-05T02:31:00Z

cargo-q 是一个新工具,允许用一条命令(如 `cargo q fmt check test clippy`)依次执行多个 Cargo 子命令,灵感来自 Maven。它支持用引号传递参数,并实验性支持并行执行(但受 target 锁限制,性能提升有限)。可通过 `cargo install cargo-q --locked` 安装,要求 Rust 1.78.0 以上,源码在 GitHub 上。

cargo-q 一次执行多个 Cargo 命令

Rust.cc Rust.cc · 2026-08-31T12:44:57Z

作者优化博客缓存与性能:合并四个GraphQL请求,耗时从1100ms降至446ms;发现WPGraphQL默认限制100条数据,改用分页拉取;开发LruLink缓存机制,实现SWR自动补货、分级TTL和用户隔离。最后并行开发三个功能分支,并预告下篇关于MC皮肤吉祥物的故事。

我的缓存会自己补货:LruLink 与三个并行功能分支

九仞之行 九仞之行 · 2026-08-19T08:03:00Z
Java 8 为什么引入函数式编程?因为 2005 年那顿免费午餐吃完了 - 编程一生

Java 8引入函数式编程,源于2005年CPU主频增长停滞,多核时代到来,共享可变状态导致并发问题。函数式通过引用透明性(无副作用)简化并行,Streams的parallelStream()以约束换自由。同时,default method保证接口兼容性。核心是:学函数式并非转行,而是改造OOP实践,减少可变状态,提升可测试性。架构师应理解特性背后的压力与妥协。

Java 8 为什么引入函数式编程?因为 2005 年那顿免费午餐吃完了 - 编程一生

编程一生 编程一生 · 2026-08-14T07:12:00Z
AI 范式雷达:《从并行到递归:WebSwarm的多Agent深度广度协同搜索范式》

阿里巴巴达摩院推出了WebSwarm,一个渐进式递归多Agent搜索框架,显著提升了复杂搜索任务的效率。WebSwarm通过递归委派和动态协作模式,优化了搜索策略,增强了信息覆盖率和准确性。

AI 范式雷达:《从并行到递归:WebSwarm的多Agent深度广度协同搜索范式》

Micropaper Micropaper · 2026-07-10T00:00:00Z
为并行代理重新设计Claude Code桌面应用

新桌面应用程序为开发者提供多会话管理、拖放布局、集成终端和文件编辑器等功能,提升了性能和用户体验。用户可以并行运行多个会话,快速切换和管理项目,应用内工具整合使代码审查和发布更加高效,支持自定义视图模式和快捷键,适用于不同工作方式。该应用现已向所有Claude Code用户开放。

为并行代理重新设计Claude Code桌面应用

Claude Claude · 2026-06-21T21:54:23Z

本文探讨了MySQL 8.0.36的主从复制机制,包括异步、半同步和GTID复制,分析了复制拓扑、线程模型、binlog格式、并行复制和延迟诊断等关键点。强调了Seconds_Behind_Master的计算陷阱及其不可靠性,建议使用性能模式和GTID集合进行对比。同时,指出了与PostgreSQL流复制的差异,特别是在日志类型、回放和并行处理方面。

【MySQL InnoDB 内核】主从复制:异步、半同步、GTID 与并行回放

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-06-18T00:00:00Z
搜索速度提升3倍:使用Instructed-Retriever-1的并行测试时间扩展

Databricks发布了Agent Bricks知识助手的重大更新,显著提升了回答生成速度和搜索效率,搜索时间减少超过3倍,回答生成时间减少2倍。新模型Instructed-Retriever-1通过并行处理提高了检索质量和速度,支持查询生成和重排序,用户反馈显示使用体验显著改善。

搜索速度提升3倍:使用Instructed-Retriever-1的并行测试时间扩展

Databricks Databricks · 2026-06-04T13:31:40Z
自适应并行推理:高效推理扩展的新范式

自适应并行推理(APR)是一种新兴的推理模型,能够动态决定何时并行化和分解任务。与传统顺序推理相比,APR通过并行处理多个线程,提高了推理效率,降低了延迟。研究表明,APR在复杂任务中表现出更高的准确性和更低的计算成本,但仍需解决训练稳定性和硬件适应性等问题。

自适应并行推理:高效推理扩展的新范式

The Berkeley Artificial Intelligence Research Blog The Berkeley Artificial Intelligence Research Blog · 2026-05-08T09:00:00Z
开源Conducty:基于Obsidian知识库实现ClaudeCode并行计划与持续学习

Conducty是一个开源工具,利用Obsidian知识库帮助AI进行项目管理和持续学习。它通过结构化文档系统解决AI记忆不足的问题,形成高效的开发流程,包括规划、执行、验证和改进。Conducty的循环周期确保每次计划都能积累经验,提升AI的协作能力,实现更精准的项目管理。

开源Conducty:基于Obsidian知识库实现ClaudeCode并行计划与持续学习

极道 极道 · 2026-04-28T00:00:00Z

本文讨论了大规模模型训练中的并行化技术,特别是671B MoE模型的训练挑战。随着模型规模的增加,单卡显存不足以支持训练,因此需要采用数据并行、张量并行和流水线并行等多种策略。文章分析了显存消耗、通信成本及不同并行策略的优缺点,并强调了优化通信与计算重叠的重要性。最后,提出了针对不同规模模型的并行配置建议。

【大模型基础设施工程】06:3D 并行深度——数据 / 张量 / 流水 / 序列 / ZeRO

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z
PatrickStar - 一个通过…实现大规模预训练模型并行训练的框架

PatrickStar是一个基于PyTorch的预训练模型并行训练框架,采用动态内存管理和异构训练策略,降低GPU内存使用,支持大模型训练,特别适合硬件受限环境下的预训练和大规模微调。

PatrickStar - 一个通过…实现大规模预训练模型并行训练的框架

云原生 云原生 · 2026-01-12T10:33:13Z
并发、并行与异步

并发、并行和异步是处理任务的三种不同概念。并发是逻辑上同时处理多个任务,适用于单核;并行是物理上同时执行多个任务,需要多核支持;异步是一种非阻塞的编程模式,旨在提高I/O操作效率。

并发、并行与异步

dotNET跨平台 dotNET跨平台 · 2026-01-12T01:49:40Z
MoE比你想象的更强大:基于RoE的超并行推理扩展

本文介绍了一种名为RoE的超并行推理框架,旨在提升大语言模型(LLM)在标记级别的预测质量。RoE通过动态组合多个专家模型,利用受控随机性为每个标记采样多个专家,从而实现更准确的预测。此外,该方法在计算效率上进行了优化,使得7B MoE模型的性能可与10.5B MoE模型相媲美,同时减少了30%的计算需求。

MoE比你想象的更强大:基于RoE的超并行推理扩展

Apple Machine Learning Research Apple Machine Learning Research · 2026-01-12T00:00:00Z
Worktrunk - 一个面向开发者的CLI工具,简化Git工作树的并行工作流...

Worktrunk是一个友好的CLI工具,简化Git工作树操作,支持并行工作流和自动化。它提供直观的命令用于创建、切换、合并和删除工作树,适合多任务开发,并支持跨平台安装和文档,便于团队协作和CI环境使用。

Worktrunk - 一个面向开发者的CLI工具,简化Git工作树的并行工作流...

云原生 云原生 · 2026-01-05T08:41:52Z
为什么AI并行化将成为2026年最大的挑战之一

在加州淘金热期间,工具销售商获益最多。Coder CEO Rob Whiteley认为,AI浪潮中,Coder将成为“铲子和镐”的公司。他担心企业未能投资员工的AI技能,导致技术差距加大。为此,Coder推出了开源AI编码代理多路复用器Mux,帮助开发者管理多个AI代理。

为什么AI并行化将成为2026年最大的挑战之一

The New Stack The New Stack · 2025-12-16T22:00:48Z
Homebrew 5.0:并行加速、MCP 加持,与 Intel 的最后倒计时 - 肘子的 Swift 周报 #111

Homebrew 发布 5.0 版本,新增并行下载和 ARM 设备支持,引入 AI Agent 自动操作功能。Intel Mac 将于 2026 年降级为 Tier 3,2027 年可能停止支持,标志着 Intel 架构逐渐退出,期待未来创新设计。

Homebrew 5.0:并行加速、MCP 加持,与 Intel 的最后倒计时 - 肘子的 Swift 周报 #111

肘子的Swift记事本 肘子的Swift记事本 · 2025-11-17T14:00:00Z

本文介绍了JDK 24和25中的Gatherers,重点讨论了映射、过滤、内部可变状态管理、流的中断、资源泄漏和竞争条件的避免,并探讨了并行Gatherers的使用,以帮助读者高效编写Gatherers。

深入探讨Gatherers - JEP咖啡馆 #24

insidejava insidejava · 2025-11-14T00:00:00Z
《Agentic Design Patterns:构建智能系统的实战指南》- 第三章 并行化

并行化设计模式允许多个独立任务同时执行,从而提高智能系统的效率。通过识别工作流中不依赖其他任务的部分,开发者可以显著缩短总执行时间,特别适合需要与外部服务交互的场景。LangChain和Google ADK等框架提供了支持并行执行的机制,助力构建高效的智能应用。

《Agentic Design Patterns:构建智能系统的实战指南》- 第三章 并行化

实时互动网 实时互动网 · 2025-10-20T02:43:36Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码