球面上的注意力机制

📝

内容提要

本研究解决了如何在球面领域中实现有效的注意力机制的问题,特别是在大气物理、宇宙学和机器人等领域。通过将数值求积权重集成到注意力机制中,我们提出了一种几何上准确的球面注意力,结果表明其优于传统的笛卡尔方法,能够显著提升模型在三个任务上的表现,展现了几何先验在球面领域学习中的优势。

➡️

继续阅读