训练大型语言模型的梯度计算的细粒度复杂度

BriefGPT - AI 论文速递 · 2024-02-07T00:00:00Z

本文证明了在某些参数范围内，大型语言模型的训练可以通过前向计算和后向计算来实现。前向计算可以在几乎线性的时间内完成，但在其他参数范围内，没有真正的次二次时间算法。同时，也展示了计算单层注意力网络损失函数梯度的更难问题上的结果。