文章探讨在CUDA中优化sigmoid函数以提升GPU指令吞吐性能。作者用Triton实现三种版本:原生tl.sigmoid、基于FTZ的近似实现,以及用tanh.approx.f32的近似实现。在RTX 5080上测试,tanh近似因只需一条MUFU指令,速度约为原生实现的两倍,FTZ版快约5%,但tanh数值误差略大。
完成下面两步后,将自动完成登录并继续当前操作。