小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
从零开始构建管道并行性

管道并行性通过将大型模型分布到多个GPU上,加速AI模型训练。课程从基础开始,逐步构建分布式训练系统,涵盖模型分区、通信原语和三种管道调度方法。

从零开始构建管道并行性

freeCodeCamp.org
freeCodeCamp.org · 2026-01-27T15:53:02Z
使用流水线并行性在多个GPU上训练大型模型

本文介绍了如何在PyTorch中使用流水线并行性训练大型模型。流水线并行性将模型分为多个阶段,以便在多个GPU上并行处理。内容包括流水线并行性的概念、模型准备、训练循环和分布式检查点,强调了在分布式环境中保存和恢复模型状态的复杂性。

使用流水线并行性在多个GPU上训练大型模型

MachineLearningMastery.com
MachineLearningMastery.com · 2025-12-29T20:56:53Z
你的语言模型预知未来:揭示其多标记预测潜力

本文提出了一种新框架,利用自回归语言模型提升生成速度和并行性。关键创新包括掩码输入形式、门控LoRA结构、轻量可学习采样模块、辅助训练损失和投机生成策略。该方法在预训练模型上进行监督微调,生成速度提高近5倍,且质量无损。

你的语言模型预知未来:揭示其多标记预测潜力

Apple Machine Learning Research
Apple Machine Learning Research · 2025-08-08T00:00:00Z
异步性不是并发性

本文阐述了异步性、并发性和并行性的区别:异步性允许任务无序执行而保持正确性;并发性是系统同时处理多个任务的能力;并行性是在物理层面同时执行多个任务。理解这些概念有助于提升编程实践,减少代码重复和复杂性。

异步性不是并发性

Loris Cro's Personal Website
Loris Cro's Personal Website · 2025-07-18T00:00:00Z
Orkes 操作符:并行性与可重用性

本文探讨了Orkes Conductor中的操作符,如Fork/Join、Dynamic Fork、Sub Workflow和Start Workflow,强调了它们在实现并发和模块化工作流设计中的作用。这些操作符支持任务的并行执行、动态生成和异步触发,从而提升了工作流的灵活性和可维护性。

Orkes 操作符:并行性与可重用性

DEV Community
DEV Community · 2025-04-28T12:57:39Z
JavaScript中有限并行性的异步映射

本文介绍了一种使用JavaScript生成器控制大数组并行处理的技巧,通过限制同时运行的异步函数数量,降低资源消耗并避免API速率限制。提供了示例代码,适用于大量数据处理场景。

JavaScript中有限并行性的异步映射

Alex Ewerlöf Notes
Alex Ewerlöf Notes · 2025-02-23T17:53:00Z

本研究解决了大语言模型解码过程中的性能瓶颈,尤其是静态内核映射导致的效率低下。通过提出PAPI架构,本文动态调度计算和内存绑定内核到合适的硬件单元,以克服传统方法的限制。实验结果显示,PAPI在三个常用的大语言模型上分别取得了1.8倍和11.1倍的加速,展示了其显著的潜在影响。

PAPI:利用动态并行性进行大语言模型解码的处理内存计算系统

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-21T00:00:00Z

本研究提出PASTA系统,旨在解决自回归大型语言模型在顺序解码中的局限性,并优化并行解码。通过二阶段微调,显著提高了解码速度和响应质量。

学习保证承诺:通过学习异步解码扩展语言模型解码并行性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-17T00:00:00Z

本研究提出LASP-2序列并行方法,优化线性注意力的右乘特性,显著提升长序列训练的通信和计算并行性,训练速度比LASP快15.2%,比环形注意力快36.6%。

LASP-2:重新思考线性注意力的序列并行性及其混合方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-11T00:00:00Z
什么是推理并行性及其工作原理

近年来,强大的GPU和大型语言模型(LLM)不断涌现。企业通过微调和领域知识利用这些模型,但模型大小与GPU内存的矛盾使得并行推理变得关键。推理并行性方法包括数据并行、张量并行、流水线并行和专家并行,各有优缺点,选择依赖于模型架构和业务需求。有效利用这些技术将推动AI应用的发展。

什么是推理并行性及其工作原理

Cloud Native Computing Foundation
Cloud Native Computing Foundation · 2024-12-18T17:00:00Z

本研究提出猎鹰框架,以平衡大型语言模型的推理速度与起草延迟。通过增强并行性和输出质量,显著提高了推测精度和接受率,速度提升达2.91倍至3.51倍。

猎鹰:通过增强的半自回归起草和定制解码树,实现对大型语言模型的快速并行推理

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-17T00:00:00Z
迈向ISO C++ 26标准:人工智能加速的优势

C++ 26标准的制定面临挑战,需要平衡各方利益。尽管内存安全提案存在争议,委员会一致认为应提升计算速度和并行性。新特性包括senders/receivers、std::simd和反射,线性代数也将纳入标准。安全性改进虽重要,但进展缓慢。

迈向ISO C++ 26标准:人工智能加速的优势

The New Stack
The New Stack · 2024-12-06T16:09:18Z

本文探讨了如何通过放宽Top-K精确要求来提高在高度并行的机器学习加速器上的并行性。研究表明,近似Top-K算法能有效提升稀疏性算法在语言模型中的性能。

Bucket-Based Approximate Top-K Algorithms for Enhanced Parallelism

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-05T00:00:00Z
多任务处理与并行性 | 第1部分

多任务处理和并行性是计算机编程中的两个相关但不同的概念。多任务处理通过快速切换在同一CPU上处理多个任务,而并行性则是在多个CPU或核心上同时执行任务。多任务处理提高响应能力,而并行性实现真正的并发。两者在现代计算中都至关重要。

多任务处理与并行性 | 第1部分

DEV Community
DEV Community · 2024-11-24T06:07:21Z
BPMN图与Optimajet .NET工作流引擎过程方案的主要区别

BPMN与工作流引擎在元素上有明显区别。工作流引擎的活动包含可执行代码,定义过程的执行方式;而BPMN通过网关或序列流实现并行性。BPMN中的子进程仅为视觉元素,而在工作流引擎中则是可重用的依赖进程。此外,工作流引擎提供命令执行的访问控制,始终可执行。

BPMN图与Optimajet .NET工作流引擎过程方案的主要区别

DEV Community
DEV Community · 2024-11-04T16:06:28Z

本研究提出了一种上下文并行方法,解决了长上下文大语言模型推理的性能瓶颈,实现了在77秒内对Llama3 405B模型进行1M上下文预填充,展现了高并行效率和FLOPS利用率。

可扩展百万标记推理的上下文并行性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-04T00:00:00Z

并行性在现代软件开发中提升性能和响应速度。在C#中,CPU密集型任务可用Parallel.For、Parallel.ForEach和任务并行库处理;I/O密集型任务适合用async和await进行异步编程。复杂任务可结合并行和异步技术提高效率。

在.NET Core中,CPU密集型和I/O密集型操作的并行性不同

DEV Community
DEV Community · 2024-10-20T00:04:46Z

PostgreSQL 17 引入了新功能,包括增量排序算法、JSONPath 增强、改进的索引创建并行性以及符合 SQL/JSON 标准的函数。Python 示例展示了如何使用这些功能。

使用 Python 探索 PostgreSQL 17 的新功能

DEV Community
DEV Community · 2024-08-24T11:14:20Z

本研究提出了Academus方法,解决了大规模BERT类模型在GPU上在线推理效率低下的问题。通过学生并行性技术将深度模型转化为一组等效的浅层并行学生模型,Academus实现了显著降低的延迟和更高的吞吐量,同时保持准确率。

利用学生并行性实现低延迟GPU推理的BERT类模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-22T00:00:00Z

本文提出了一种基于通用逼近定理的深度学习并行化策略,设计了一个名为Para-Former的并行网络,有效地加快了多层网络的推理速度。

通用逼近理论:神经网络并行性的基础

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-31T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码