最近看到论文《The Key to Going Linear: Analysis-Driven Transformer Linearization》里边直接对Softmax做近似展开来线性化At...
文章介绍LLM加速中的快速交叉熵损失。由于LLM训练目标仅一个有效值，交叉熵可简化为logsumexp(x)减x_y，复杂度从O(4n)降至O(2n)。验证时发现需减去最大logit以稳定softmax，否则损失不下降。微调Gemma2后，新代码与官方结果几乎一致，耗时减少约2.8%。作者建议用Triton实现以获更好性能。
本文介绍了一种基于Loewner顺序的彩色形态学方法，通过对数和指数的对数求和来逼近最高点，并将RGB图像嵌入到对称2x2矩阵中。该方法展示了一些显著属性。
完成下面两步后，将自动完成登录并继续当前操作。
