【Triton 教程】triton_language.abs

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

在3060显卡下,fp16推理的linear层在特定数据维度下提速约60%;layernorm在数据维度超过特定值时提速约40%;rmsnorm在triton版本下可实现30%以上的提速。提升效果与硬件和软件版本密切相关。

🏷️

标签

➡️

继续阅读