慢即是快:1. Shampoo的尽头是Muon?
📝
内容提要
众所周知,Muon优化器流行起来已经有好一段时间,虽然说不上完全取代Adam,但已经算得上不能忽视的、极具竞争力的优化器。与此同时,这两年Shampoo系优化器也“不甘落后”,除了原始Shamp...
众所周知,Muon优化器流行起来已经有好一段时间,虽然说不上完全取代Adam,但已经算得上不能忽视的、极具竞争力的优化器。与此同时,这两年Shampoo系优化器也“不甘落后”,除了原始Shamp...