飞桨推出的FlashMask技术通过列式稀疏掩码表示方法，显著降低了Transformer大模型训练中的冗余计算和存储需求。与传统稠密掩码相比，FlashMask在训练速度上提升了1.65至3.22倍，支持更长序列的高效训练，且不影响模型精度。该技术适用于多种下游任务，推动了大语言模型的发展。