内存占用最高降低75%，美国能源部科学家提出跨通道分层聚合方法D-CHAG，实现极大规模模型多通道数据集运行

来自美国能源部橡树岭国家实验室的科学家们提出了一种面向基础模型的分布式跨通道分层聚合方法（D-CHAG），该方法对 token 化过程进行分布式处理，并采用分层策略进行通道聚合，从而使极大规模模型能够在多通道数据集上运行。