COAT：优化器状态和激活的压缩以实现内存高效的 FP8 训练

本研究解决了现有 FP8 训练框架在内存使用优化方面的不足。通过动态范围扩展和混合粒度激活量化的创新方法，COAT 显著降低了大模型训练的内存占用，并在多项任务中实现了几乎无损的性能，提供了在较少 GPU 上高效训练大模型的解决方案。