BriefGPT - AI 论文速递
·
FTuner: 一个快速的深度学习编译器的动态形状张量程序自动调整器
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
FTuner是一种新的深度学习编译器技术，使用uKernel拼接小张量以匹配输入张量的形状，并使用硬件信息模型确定uKernel的形状。实验证明，FTuner在运算符和端到端性能上与供应商库相当，并且在现有的自动调整器上实现了3%的速度提升，同时减少了调整时间。
🎯
关键要点
-
FTuner是一种新的深度学习编译器技术。
-
FTuner使用uKernel拼接小张量以匹配输入张量的形状。
-
FTuner利用硬件信息模型确定uKernel的形状。
-
实验证明FTuner在运算符和端到端性能上与供应商库相当。
-
FTuner在现有的自动调整器上实现了3%的速度提升。
-
FTuner减少了两个数量级的调整时间。
➡️
