如何捕捉高阶相关性？将矩阵 Softmax 注意力推广为克罗内克计算
原文中文，约200字，阅读约需1分钟。发表于：。在该研究中，我们研究了一种可以捕捉三元相关性的注意力机制的泛化形式，该泛化形式能够解决传统 transformers 无法解决的问题。我们展示了在有界输入情况下的近似计算，以及对于更高阶张量和相关性的拓展。同时，我们还发现输入的边界与张量的阶数之间存在自然的权衡关系，能够实现更高效的注意力计算。
该研究提出了一种泛化形式的注意力机制，能够解决传统 transformers 无法解决的问题，捕捉三元相关性。研究展示了在有界输入情况下的近似计算，对于更高阶张量和相关性的拓展。同时，发现输入的边界与张量的阶数之间存在自然的权衡关系，能够实现更高效的注意力计算。
