小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate

本文介绍如何检查AOTInductor生成的Triton内核SASS。AOTInductor是PyTorch后端编译器,可生成预优化推理引擎,其Triton内核以cubin文件存于pt2包中。解压后用nvdisasm或cuobjdump反汇编即可查看SASS。示例验证了128位向量化内存指令LDG.E.128和STG.E.128确实被生成。

AOTInductor Triton SASS 检查

Lei Mao's Log Book Lei Mao's Log Book · 2026-10-02T07:00:00Z
HSTU在Dynamo-Triton中的AOTI与KV缓存验收方法

NVIDIA公布HSTU推荐部署流程,采用PyTorch AOTI编译、FlexKV缓存与Dynamo-Triton服务,八层模型满命中时延迟最高改善5.93倍,但收益取决于用户历史前缀复用率,50%命中时加速不足2倍。建议先验证输出一致性,再测试各命中率下的延迟、缓存失效与显存淘汰,并将推荐质量纳入验收,按每千次请求节省的GPU毫秒决策。

HSTU在Dynamo-Triton中的AOTI与KV缓存验收方法

Java for You Java for You · 2026-10-01T02:26:37Z
第70期《AOT缓存——Netflix实践与OpenJDK理论之比较》[I/O]

Netflix工程师在JavaOne 2026播客中介绍了Java提前编译(AOT)缓存技术:通过训练运行填充缓存,使JVM在生产环境跳过类加载、链接和性能分析等步骤,从而缩短启动时间。Netflix采用金丝雀部署收集训练数据,为其余部署生成缓存,并讨论了时间尺度、检查点及缓存文件管理等细节。

第70期《AOT缓存——Netflix实践与OpenJDK理论之比较》[I/O]

insidejava insidejava · 2026-09-17T00:00:00Z
从对标 Java 到对标 Go:Native AOT 的"无痛化"之路,走到哪一站了? - 张善友

.NET 11 RC1发布在即,文章回顾了Native AOT从.NET 7到.NET 11的发展历程,强调其从demo级到企业可落地的进步。AOT面临反射兼容问题,需通过Source Generator解决。开源项目OpenClaw.NET展示了AOT在AI Agent场景的应用,通过能力分层平衡动态与静态需求。尽管生态转型缓慢,但NuGet下载量增长显示趋势向好,五年努力值得。

从对标 Java 到对标 Go:Native AOT 的"无痛化"之路,走到哪一站了? - 张善友

张善友 张善友 · 2026-09-07T05:35:00Z

AOTInductor支持输入张量的原地修改,通过显式使用如`x.mul_(2)`的原地操作,经`torch.export`导出和分解后,输入修改会被记录在`user_inputs_to_mutate`中,编译后的引擎能高效执行原地修改,避免复制大张量。相比之下,修改注册缓冲区可能导致多线程安全问题,因此推荐使用输入修改方式。

AOTInductor输入修改

Lei Mao's Log Book Lei Mao's Log Book · 2026-09-01T07:00:00Z

AOTInductor支持对输入张量进行原地修改优化。通过在模型中显式使用原地操作(如x.mul_(2))或自定义Triton内核并标记mutates_args,经torch.export导出和分解后,输入修改会被记录在user_inputs_to_mutate中,AOTInductor据此生成高效引擎。此方法比修改注册缓冲区更线程安全,避免多线程共享状态问题。

AOTInductor输入原地修改

Lei Mao's Log Book Lei Mao's Log Book · 2026-09-01T07:00:00Z

本文介绍AOTInductor(PyTorch编译器后端)如何将模型权重存储在共享库外,并在推理时线程安全地更新权重。通过设置`package_constants_in_so`为False、`freezing`为False及`always_keep_tensor_constants`为True,权重可外部保存。C++端使用`load_constants`加载权重到非活动缓冲区,再通过`swap_constant_buffer`和`free_inactive_constant_buffer`实现双缓冲安全交换,支持热更新,避免GPU内存峰值。

AOTInductor外部权重存储与权重流式更新

Lei Mao's Log Book Lei Mao's Log Book · 2026-08-27T07:00:00Z

Uno Platform 6.6 introduces Native AOT publishing across five target platforms, an optional Vulkan rendering backend, and automatic registration for the framework’s Model Context Protocol servers....

Uno Platform 6.6 Adds Native AOT, Vulkan Rendering, and Broader Accessibility Support

InfoQ InfoQ · 2026-08-07T08:00:00Z
AI + C# NativeAOT:破解应用开发的"最后一公里" - 张善友

C# NativeAOT编译模式通过预编译生成原生机器码,实现亚秒级启动、15MB极小镜像和低内存占用,适合Serverless冷启动和边缘设备。虽非万能,存在性能损失限制,但为AI从实验室到生产提供高效部署路径,优于Python生态。

AI + C# NativeAOT:破解应用开发的"最后一公里" - 张善友

张善友 张善友 · 2026-07-27T13:47:00Z
第62期“JDK 27 + Valhalla,现在!+ 黑客松”[IJN]

JDK 27进入Ramp-Down-Phase 1阶段,特性已可预览。Valhalla项目首个JEP(401)预计纳入JDK 28。Oracle鼓励开发者参与“Modern Java in the Wild”黑客松。另有文章探讨AOT与代理结合及利用GPU张量核心。

第62期“JDK 27 + Valhalla,现在!+ 黑客松”[IJN]

insidejava insidejava · 2026-07-19T00:00:00Z
Kakao在KakaoTalk中推出ChatGPT聊天机器人功能,用于聊天内通话

Kakao于6月16日推出了在KakaoTalk中直接与AI交流的“ChatGPT”聊天机器人功能,支持群聊和一对一聊天,用户可通过“@”符号提及ChatGPT并输入提示。同时,Kakao进行了可用性更新,提升用户体验,推动AI在日常生活中的应用。

Kakao在KakaoTalk中推出ChatGPT聊天机器人功能,用于聊天内通话

实时互动网 实时互动网 · 2026-06-16T03:29:32Z
JDK 26 性能改进详解:LazyConstant、G1双卡表、AOT缓存等核心优化

JDK 26 带来了显著的性能提升,包括懒加载常量、字符串提取优化、记录类 hashCode 性能提升、G1 垃圾回收器减少同步、AOT 缓存支持所有 GC、默认初始堆改为最小堆、C2 编译器支持超大参数方法、向量化成本模型改进,以及虚拟线程在类初始化时主动让出载体线程。

JDK 26 性能改进详解:LazyConstant、G1双卡表、AOT缓存等核心优化

极道 极道 · 2026-06-16T03:15:00Z

本文讨论了PyTorch AOTInductor如何将具有混合设备执行计划的PyTorch导出程序编译成单个可执行包,该包可在CPU和GPU上运行模型,无需手动拆分模型。示例展示了如何使用AOTInductor编译和加载模型,并通过性能分析验证混合执行的有效性。

PyTorch AOTInductor 混合降级

Lei Mao's Log Book Lei Mao's Log Book · 2026-05-28T07:00:00Z
Netflix中的Java AOT生产应用

Netflix在2026年5月23日的JavaOne大会上介绍了项目Leyden,展示了提升关键服务启动时间及软件开发生命周期的方案。演讲者为Martin Chalupa和Ian Brown。

Netflix中的Java AOT生产应用

insidejava insidejava · 2026-05-23T00:00:00Z
Netflix生产环境中的Java AOT

Netflix通过Leyden项目改善了关键服务的启动时间,并构建了相应的软件开发生命周期(SDLC)。该内容由Martin Chalupa和Ian Brown在2026年JavaOne大会上介绍。

Netflix生产环境中的Java AOT

insidejava insidejava · 2026-05-23T00:00:00Z
StarBlog番外(5) 从1.6到1.10,基于Avalonia AOT 开发的 Publisher 半年进化之路 - 曦远Code

StarBlog Publisher 在过去半年中从 v1.6 更新至 v1.10.7,新增了多项实用功能,包括增强的 AI 能力(封面生成、关键词提取和标题优化模板)、智能图片处理(自动压缩和正则匹配)以及框架升级至 .NET 10,用户可通过 Scoop 安装。未来计划包括批量发布和更多 AI 支持。

StarBlog番外(5) 从1.6到1.10,基于Avalonia AOT 开发的 Publisher 半年进化之路 - 曦远Code

程序设计实验室 程序设计实验室 · 2026-05-22T04:05:00Z
MewUI 项目:面向 NativeAOT 的超轻量级.NET GUI 架构、底层图形管线与性能演进

MewUI是一个轻量级的.NET GUI框架,专注于NativeAOT编译和程序集裁剪,分发体积仅为3-4MB。它通过自研图形引擎和模块化设计,消除了对外部动态库的依赖,适合轻量级桌面工具和便携应用。MewUI采用代码优先的声明式语法,提供高效的UI构建和强类型绑定,旨在解决传统框架的分发和性能问题。

MewUI 项目:面向 NativeAOT 的超轻量级.NET GUI 架构、底层图形管线与性能演进

dotNET跨平台 dotNET跨平台 · 2026-05-18T00:01:20Z
MewUI 项目:面向 NativeAOT 的超轻量级.NET GUI 架构、底层图形管线与性能演进 - 张善友

MewUI是一个轻量级的.NET GUI框架,旨在解决传统开发框架在分发体积和运行时依赖上的问题。通过NativeAOT编译和自研图形引擎,MewUI将单文件体积压缩至3-4MB,支持快速启动和低内存占用。其模块化设计和双重抽象架构确保高效的跨平台部署,适合小型桌面工具和嵌入式应用。

MewUI 项目:面向 NativeAOT 的超轻量级.NET GUI 架构、底层图形管线与性能演进 - 张善友

张善友 张善友 · 2026-05-17T10:56:00Z

微软宣布,从2026年起,CoreCLR将成为.NET MAUI应用的默认运行时,结束Mono在移动端的25年历史。这一变更将统一.NET生态,提升性能,并支持NativeAOT编译。开发者可在测试环境中尝试新SDK,以确保平滑过渡。虽然Mono不会完全消失,但将逐步被CoreCLR取代。

.NET 11 Preview 4 震撼发布:MAUI 抛弃 Mono,全量迁移 CoreCLR,性能与 NativeAOT 双炸场!

dotNET跨平台 dotNET跨平台 · 2026-05-16T00:00:59Z
.NET 9 + Avalonia + Prism 高性能、小体积,支持 AOT 跨平台桌面应用

CodeWF Toolbox 是一个基于 .NET 9、Avalonia UI 和 Prism 的开源桌面工具,旨在为开发者和系统管理员提供轻量、高效的功能。支持 JSON 美化、YAML 转 JSON,兼容 Windows 7 至 macOS 11+,启动快、内存占用低,界面流畅,适合内网环境。项目强调模块化和多语言支持,完全开源,适合学习和二次开发。

.NET 9 + Avalonia + Prism 高性能、小体积,支持 AOT 跨平台桌面应用

dotNET跨平台 dotNET跨平台 · 2026-05-16T00:00:59Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码