新的随机梯度下降的对数步长
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本文提出了一种改进的随机梯度下降（SGD）算法，通过引入基于1/√t的衰减步长，显著提高了在FashionMNIST和CIFAR10数据集上的图像分类准确率，分别提高了0.5%和1.4%。
🔎
延伸解读
理论收敛性分析
论文在非凸光滑函数且不依赖Polyak-Lojasiewicz条件下，建立了收敛速度为O(ln T/√T)。这一结果从理论上保证了算法在一般非凸优化问题中的收敛性，为步长设计提供了数学基础。
实验效果与提升
在FashionMNIST和CIFAR10图像分类任务上，与传统1/√t步长相比，新方法分别提升了0.5%和1.4%的准确率。这表明改进的步长在真实数据集上能带来一致的性能增益，且提升幅度在CIFAR10上更明显。
步长设计特点
提出的步长基于1/√t并整合了对数项，使得在迭代后期步长取值更小。这种设计有助于在训练后期进行更精细的调整，从而可能提高最终模型的收敛精度。
可复现性与资源
论文提供了源代码链接（https://github.com/Shamaeem/LNSQRTStepSize），方便研究者复现实验并在此基础上进行扩展。这有助于推动该方法的实际应用和进一步验证。
❓
Q&A
新的随机梯度下降算法有什么改进？
该算法引入了基于1/√t的衰减步长，整合了对数项，以提高性能。
这种新算法在图像分类任务中的表现如何？
在FashionMNIST和CIFAR10数据集上，准确率分别提高了0.5%和1.4%。
该算法的收敛速度是什么？
在非凸光滑函数无Polyak-Lojasiewicz条件下，收敛速度为O(ln T/√T)。
如何选择步长的值？
在最后的迭代中选择较小的值，以整合对数项。
该算法与传统SGD相比有什么优势？
相比传统的1/√t步长，该算法在准确率上有显著提升。
源代码在哪里可以找到？
源代码可以在https://github.com/Shamaeem/LNSQRTStepSize找到。
🏷️
