该研究提出了一种泛化形式的注意力机制，能够解决传统 transformers 无法解决的问题，捕捉三元相关性。研究展示了在有界输入情况下的近似计算，对于更高阶张量和相关性的拓展。同时，发现输入的边界与张量的阶数之间存在自然的权衡关系，能够实现更高效的注意力计算。