如何捕捉高阶相关性？将矩阵 Softmax 注意力推广为克罗内克计算

BriefGPT - AI 论文速递 · 2023-10-06T00:00:00Z

该研究提出了一种泛化形式的注意力机制，能够解决传统 transformers 无法解决的问题，捕捉三元相关性。研究展示了在有界输入情况下的近似计算，对于更高阶张量和相关性的拓展。同时，发现输入的边界与张量的阶数之间存在自然的权衡关系，能够实现更高效的注意力计算。