【Transformer 与注意力机制】17｜Causal Mask：让模型只看过去不看未来

因果掩码是自回归生成模型中的关键技术，确保模型在训练时仅依赖过去的信息。

因果掩码通过将上三角部分设为负无穷，确保模型在生成时不“偷看”未来的token。

因果掩码解决了Transformer在并行处理与生成任务之间的矛盾，提升了模型训练的效率和规模。

自回归模型的定义是将整个序列的联合概率分解为条件概率的乘积，模型在预测时只能见到过去的信息。

因果掩码强制让self-attention在结构上变得因果，使Transformer能够像RNN一样满足因果性。

Teacher forcing是一种训练技巧，确保模型在每一步预测时使用真实的历史信息。

因果掩码与teacher forcing结合，使得Transformer的训练能够实现并行化，显著提高训练速度。

因果掩码的实现形式是一个n × n的矩阵，确保每个位置的注意力分布只在对角线及以下。

Encoder self-attention不使用因果掩码，Decoder self-attention必须使用因果掩码，Decoder cross-attention则需要padding mask。

Prefix LM是一种部分因果的设计，前半段双向，后半段因果，适用于特定任务。

推理时的KV cache与因果掩码的关系，推理过程天然是因果的，不需要显式的因果掩码。

因果掩码的设计影响了模型的表示结构，导致了attention sink现象的出现。

长序列下因果掩码的开销显著，需采用优化策略如常量化、按需计算等。

常见的错误包括在BERT中误加因果掩码、encoder-decoder模型中cross-attention错误加因果掩码等。

因果掩码是Transformer时代所有自回归大模型存在的工程基础，定义了自回归的精确语义。