连续化 Softmax Attention
📝
内容提要
Softmax Attention想必大家已经不陌生,它是定义在有限向量集合下的一个加权混合算子。近日,论文《Continuum Attention》提出了一个很有意思的想法——将注意力连续化。...
Softmax Attention想必大家已经不陌生,它是定义在有限向量集合下的一个加权混合算子。近日,论文《Continuum Attention》提出了一个很有意思的想法——将注意力连续化。...