Shampoo是一种在线和随机优化算法，用于训练神经网络。它通过块对角预处理器和PyTorch进行规模化训练的性能优化，实现了快速的多GPU分布式数据并行训练。在训练ImageNet ResNet50上进行的消融研究中，展示了Shampoo在最小超参数调整下对标准训练配方的优越性。

咳咳，这应该是我的第一篇「日用品」分享，封面有点污，但是内容我还是挺正经的。 前两个星期，看微博，刷到这条。一个人去德国旅游，吐槽德国人太严谨了，连墓碑都有专门的清洁剂。 然后，在评论的转发里，有网友又发了一组「清洁剂」，然后我就震惊了。 好吧，没想到男士的清洁，还分得这么详细。好奇在淘宝搜了一下，抱着猎奇的心态，下单买了一瓶 Geburtstags...