本研究质疑传统位置编码在大语言模型中的长期衰减假设，提出高频旋转位置编码（HoPE），以优化位置和语义表示，增强模型的上下文意识和外推能力。

该研究介绍了一种基于三维结构的等变神经网络EquiReact，用于化学反应推理。研究发现，EquiReact在活化能预测方面表现出竞争性能，具有更好的外推能力和预测误差，同时减少了对几何质量的敏感性，具有出色的数据效率。