本文探讨了FP4低精度训练中E2M1格式的局限性,提出E1M2格式可能是更优选择。研究发现E2M1存在收缩偏差,影响训练收敛速度。通过引入随机Hadamard变换(RHT),在E1M2格式下可提高量化质量,推动FP4训练向“局部分辨率主导”转变,建议未来硬件重新评估格式选择。
完成下面两步后,将自动完成登录并继续当前操作。