本文探讨了变压器架构中的sigmoid注意力机制，证明其为通用函数逼近器，并在训练初期的稳定性上优于softmax注意力。提出的FLASHSIGMOID实现提升了17%的推理速度。实验结果表明，sigmoid注意力在多个领域的表现与softmax相当，提供了最佳实践。