小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
数据并行与 ZeRO:三级分片各省多少

本文介绍数据并行与ZeRO优化技术。ZeRO通过三级分片(优化器状态、梯度、权重)减少显存占用,前两级不增通信量,第三级需额外all-gather。ZeRO-1每参数4+12/N字节,ZeRO-2为2+14/N,ZeRO-3降至16/N。分片可放CPU,用双缓冲减少GPU占用,但需PCIe带宽支持。

数据并行与 ZeRO:三级分片各省多少

Java不加糖's Blog Java不加糖's Blog · 2026-09-05T22:30:00Z
省 token 故事 · 各自为政 - 编程一生

多智能体并行虽高效,但每个智能体需独立上下文,重复阅读文件导致token成本高。自查不可靠,需独立质检。任务书应自包含且窄,验收独立派人,能串行则不并行。核心判据:任务拆分后所需背景越少越适合并行,否则协作成本高,无人掌握全局最贵。

省 token 故事 · 各自为政 - 编程一生

编程一生 编程一生 · 2026-09-05T02:31:00Z

cargo-q 是一个新工具,允许用一条命令(如 `cargo q fmt check test clippy`)依次执行多个 Cargo 子命令,灵感来自 Maven。它支持用引号传递参数,并实验性支持并行执行(但受 target 锁限制,性能提升有限)。可通过 `cargo install cargo-q --locked` 安装,要求 Rust 1.78.0 以上,源码在 GitHub 上。

cargo-q 一次执行多个 Cargo 命令

Rust.cc Rust.cc · 2026-08-31T12:44:57Z

作者优化博客缓存与性能:合并四个GraphQL请求,耗时从1100ms降至446ms;发现WPGraphQL默认限制100条数据,改用分页拉取;开发LruLink缓存机制,实现SWR自动补货、分级TTL和用户隔离。最后并行开发三个功能分支,并预告下篇关于MC皮肤吉祥物的故事。

我的缓存会自己补货:LruLink 与三个并行功能分支

九仞之行 九仞之行 · 2026-08-19T08:03:00Z
Java 8 为什么引入函数式编程?因为 2005 年那顿免费午餐吃完了 - 编程一生

Java 8引入函数式编程,源于2005年CPU主频增长停滞,多核时代到来,共享可变状态导致并发问题。函数式通过引用透明性(无副作用)简化并行,Streams的parallelStream()以约束换自由。同时,default method保证接口兼容性。核心是:学函数式并非转行,而是改造OOP实践,减少可变状态,提升可测试性。架构师应理解特性背后的压力与妥协。

Java 8 为什么引入函数式编程?因为 2005 年那顿免费午餐吃完了 - 编程一生

编程一生 编程一生 · 2026-08-14T07:12:00Z
AI 范式雷达:《从并行到递归:WebSwarm的多Agent深度广度协同搜索范式》

阿里巴巴达摩院推出了WebSwarm,一个渐进式递归多Agent搜索框架,显著提升了复杂搜索任务的效率。WebSwarm通过递归委派和动态协作模式,优化了搜索策略,增强了信息覆盖率和准确性。

AI 范式雷达:《从并行到递归:WebSwarm的多Agent深度广度协同搜索范式》

Micropaper Micropaper · 2026-07-10T00:00:00Z
为并行代理重新设计Claude Code桌面应用

新桌面应用程序为开发者提供多会话管理、拖放布局、集成终端和文件编辑器等功能,提升了性能和用户体验。用户可以并行运行多个会话,快速切换和管理项目,应用内工具整合使代码审查和发布更加高效,支持自定义视图模式和快捷键,适用于不同工作方式。该应用现已向所有Claude Code用户开放。

为并行代理重新设计Claude Code桌面应用

Claude Claude · 2026-06-21T21:54:23Z

本文探讨了MySQL 8.0.36的主从复制机制,包括异步、半同步和GTID复制,分析了复制拓扑、线程模型、binlog格式、并行复制和延迟诊断等关键点。强调了Seconds_Behind_Master的计算陷阱及其不可靠性,建议使用性能模式和GTID集合进行对比。同时,指出了与PostgreSQL流复制的差异,特别是在日志类型、回放和并行处理方面。

【MySQL InnoDB 内核】主从复制:异步、半同步、GTID 与并行回放

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-06-18T00:00:00Z
搜索速度提升3倍:使用Instructed-Retriever-1的并行测试时间扩展

Databricks发布了Agent Bricks知识助手的重大更新,显著提升了回答生成速度和搜索效率,搜索时间减少超过3倍,回答生成时间减少2倍。新模型Instructed-Retriever-1通过并行处理提高了检索质量和速度,支持查询生成和重排序,用户反馈显示使用体验显著改善。

搜索速度提升3倍:使用Instructed-Retriever-1的并行测试时间扩展

Databricks Databricks · 2026-06-04T13:31:40Z
自适应并行推理:高效推理扩展的新范式

自适应并行推理(APR)是一种新兴的推理模型,能够动态决定何时并行化和分解任务。与传统顺序推理相比,APR通过并行处理多个线程,提高了推理效率,降低了延迟。研究表明,APR在复杂任务中表现出更高的准确性和更低的计算成本,但仍需解决训练稳定性和硬件适应性等问题。

自适应并行推理:高效推理扩展的新范式

The Berkeley Artificial Intelligence Research Blog The Berkeley Artificial Intelligence Research Blog · 2026-05-08T09:00:00Z
开源Conducty:基于Obsidian知识库实现ClaudeCode并行计划与持续学习

Conducty是一个开源工具,利用Obsidian知识库帮助AI进行项目管理和持续学习。它通过结构化文档系统解决AI记忆不足的问题,形成高效的开发流程,包括规划、执行、验证和改进。Conducty的循环周期确保每次计划都能积累经验,提升AI的协作能力,实现更精准的项目管理。

开源Conducty:基于Obsidian知识库实现ClaudeCode并行计划与持续学习

极道 极道 · 2026-04-28T00:00:00Z

本文讨论了大规模模型训练中的并行化技术,特别是671B MoE模型的训练挑战。随着模型规模的增加,单卡显存不足以支持训练,因此需要采用数据并行、张量并行和流水线并行等多种策略。文章分析了显存消耗、通信成本及不同并行策略的优缺点,并强调了优化通信与计算重叠的重要性。最后,提出了针对不同规模模型的并行配置建议。

【大模型基础设施工程】06:3D 并行深度——数据 / 张量 / 流水 / 序列 / ZeRO

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z
PatrickStar - 一个通过…实现大规模预训练模型并行训练的框架

PatrickStar是一个基于PyTorch的预训练模型并行训练框架,采用动态内存管理和异构训练策略,降低GPU内存使用,支持大模型训练,特别适合硬件受限环境下的预训练和大规模微调。

PatrickStar - 一个通过…实现大规模预训练模型并行训练的框架

云原生 云原生 · 2026-01-12T10:33:13Z
并发、并行与异步

并发、并行和异步是处理任务的三种不同概念。并发是逻辑上同时处理多个任务,适用于单核;并行是物理上同时执行多个任务,需要多核支持;异步是一种非阻塞的编程模式,旨在提高I/O操作效率。

并发、并行与异步

dotNET跨平台 dotNET跨平台 · 2026-01-12T01:49:40Z
MoE比你想象的更强大:基于RoE的超并行推理扩展

本文介绍了一种名为RoE的超并行推理框架,旨在提升大语言模型(LLM)在标记级别的预测质量。RoE通过动态组合多个专家模型,利用受控随机性为每个标记采样多个专家,从而实现更准确的预测。此外,该方法在计算效率上进行了优化,使得7B MoE模型的性能可与10.5B MoE模型相媲美,同时减少了30%的计算需求。

MoE比你想象的更强大:基于RoE的超并行推理扩展

Apple Machine Learning Research Apple Machine Learning Research · 2026-01-12T00:00:00Z
Worktrunk - 一个面向开发者的CLI工具,简化Git工作树的并行工作流...

Worktrunk是一个友好的CLI工具,简化Git工作树操作,支持并行工作流和自动化。它提供直观的命令用于创建、切换、合并和删除工作树,适合多任务开发,并支持跨平台安装和文档,便于团队协作和CI环境使用。

Worktrunk - 一个面向开发者的CLI工具,简化Git工作树的并行工作流...

云原生 云原生 · 2026-01-05T08:41:52Z
为什么AI并行化将成为2026年最大的挑战之一

在加州淘金热期间,工具销售商获益最多。Coder CEO Rob Whiteley认为,AI浪潮中,Coder将成为“铲子和镐”的公司。他担心企业未能投资员工的AI技能,导致技术差距加大。为此,Coder推出了开源AI编码代理多路复用器Mux,帮助开发者管理多个AI代理。

为什么AI并行化将成为2026年最大的挑战之一

The New Stack The New Stack · 2025-12-16T22:00:48Z
Homebrew 5.0:并行加速、MCP 加持,与 Intel 的最后倒计时 - 肘子的 Swift 周报 #111

Homebrew 发布 5.0 版本,新增并行下载和 ARM 设备支持,引入 AI Agent 自动操作功能。Intel Mac 将于 2026 年降级为 Tier 3,2027 年可能停止支持,标志着 Intel 架构逐渐退出,期待未来创新设计。

Homebrew 5.0:并行加速、MCP 加持,与 Intel 的最后倒计时 - 肘子的 Swift 周报 #111

肘子的Swift记事本 肘子的Swift记事本 · 2025-11-17T14:00:00Z

本文介绍了JDK 24和25中的Gatherers,重点讨论了映射、过滤、内部可变状态管理、流的中断、资源泄漏和竞争条件的避免,并探讨了并行Gatherers的使用,以帮助读者高效编写Gatherers。

深入探讨Gatherers - JEP咖啡馆 #24

insidejava insidejava · 2025-11-14T00:00:00Z
《Agentic Design Patterns:构建智能系统的实战指南》- 第三章 并行化

并行化设计模式允许多个独立任务同时执行,从而提高智能系统的效率。通过识别工作流中不依赖其他任务的部分,开发者可以显著缩短总执行时间,特别适合需要与外部服务交互的场景。LangChain和Google ADK等框架提供了支持并行执行的机制,助力构建高效的智能应用。

《Agentic Design Patterns:构建智能系统的实战指南》- 第三章 并行化

实时互动网 实时互动网 · 2025-10-20T02:43:36Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码