小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
视频生成推理加速实践:基于 torch.compile 的整图编译优化

视频生成模型的推理优化应从算子级转向计算图级,以提升整体执行效率。Self-Forcing模型采用逐块生成策略,降低计算复杂度。通过torch.compile实现整图编译,消除Graph Break,最终实现约47.6%的加速效果。

视频生成推理加速实践:基于 torch.compile 的整图编译优化

实时互动网
实时互动网 · 2026-01-28T07:51:08Z
使用torch.compile和梯度累积加速模型训练

本文介绍了加速深度变换器语言模型训练的两种技术:使用torch.compile()优化模型性能,以及通过梯度累积实现更大的有效批量大小。torch.compile()提升执行速度,梯度累积通过多次前向传播减少反向传播次数,从而节省时间。

使用torch.compile和梯度累积加速模型训练

MachineLearningMastery.com
MachineLearningMastery.com · 2025-12-25T16:44:48Z
torch.compile 介绍及其与 vLLM 的工作原理

torch.compile 是 PyTorch 的即时编译器,旨在自动优化代码以提升大语言模型(LLM)的推理性能。它通过捕获张量操作生成优化内核,简化开发者的工作。vLLM 集成了 torch.compile,支持动态批量大小和自定义编译器传递,进一步提升性能。未来将改善稳定性和启动时间,推动推理性能的提升。

torch.compile 介绍及其与 vLLM 的工作原理

vLLM Blog
vLLM Blog · 2025-08-20T00:00:00Z
torch.compile 与 torch.export

torch.compile()和torch.export()是基于PyTorch 2.6的工具。前者为JIT编译器,灵活处理不可追踪部分;后者为AOT编译器,捕获完整图形,适合部署。两者在图形捕获、处理不可追踪代码和输出方面存在差异。

torch.compile 与 torch.export

DEV Community
DEV Community · 2025-03-05T12:17:31Z
torch.compile()

torch.compile是PyTorch 2.0后用于加速代码的技术,通过JIT编译优化为NVIDIA内核。首次运行可能较慢,但后续会加快。它由Torch Dynamo和Torch Inductor组成,减少Python开销并优化CPU-GPU通信。

torch.compile()

DEV Community
DEV Community · 2025-02-25T13:19:07Z
How to create simple tool for compile the Linux Kernel

How to create simple tool for compile the Linux Kernel

DEV Community
DEV Community · 2024-11-29T20:24:15Z

.NET 9引入了动态自适应应用程序大小(DATAS)功能,根据内存需求自动调整堆大小。DATAS根据不同的硬件配置和工作负载变化来适应堆大小,有助于容量规划。Rust的编译线程使用不同的汇编格式,可能需要一些时间来适应。在Rust中创建新线程涉及传递参数和将主函数的地址转换为可变指针。Rust的FnOnce trait中的call_once函数用于执行调用操作。

.NET9 Pre7 DATAS+Rustc Compile线程续

dotNET跨平台
dotNET跨平台 · 2024-08-26T00:02:01Z

vue – compile结果代码解读 🔗vue中对于sfc文件最终的编译结果,可以在playground中看到 源码 1 2 3 4 5 6 7 8 9 10 11 <script setup> import { ref }

vue -- compile结果代码解读

时间的朋友
时间的朋友 · 2023-05-09T07:26:32Z

本文介绍如何在GitHub Actions中使用Windows虚拟机器编译AutoIT,作者提供了action-AutoIT-Builder库和工作流程设置文件,方便Linux用户使用。

用GitHub Actions的Windows虛擬機器來編譯AutoIT / Compile AutoIT on the Windows Runer in GitHub Actions

布丁布丁吃什麼?
布丁布丁吃什麼? · 2023-04-07T04:00:00Z

An overview of Mugo, a single-pass compiler for a tiny subset of the Go programming language -- just enough to compile itself.

Mugo, a toy compiler for a subset of Go that can compile itself

Ben Hoyt's technical writing
Ben Hoyt's technical writing · 2021-04-12T07:30:00Z

TL;DR: if you want to use -ftime-report Clang flag to help you figure out where or why your code is slow to compile… it’s not very helpful for that. But! In the next post we’ll try to do something...

Investigating compile times, and Clang -ftime-report

Aras' website
Aras' website · 2019-01-12T18:02:10Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码