Shampoo是一种在线和随机优化算法，用于训练神经网络。它通过块对角预处理器和PyTorch进行规模化训练的性能优化，实现了快速的多GPU分布式数据并行训练。在训练ImageNet ResNet50上进行的消融研究中，展示了Shampoo在最小超参数调整下对标准训练配方的优越性。