Learning RoPEs: Enhancing 2D and 3D Positional Encoding with STRING

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新型位置编码方法STRING,克服了大型语言模型中旋转位置编码的局限性。STRING在保持低计算开销的同时,实现了精确的平移不变性,并在视觉变换器中应用,显著提升了开放词汇物体检测和机器人控制的效果。

🏷️

标签

➡️

继续阅读