SNIP: 数学符号与数值领域的统一预训练桥梁
原文中文,约400字,阅读约需1分钟。发表于: 。在一个符号化数学方程与其数值对应物之间具有任务不可知的统一理解的显著益处的基础上,我们介绍了 SNIP,一种符号 - 数字集成预训练方法,通过使用符号领域和数字领域之间的联合对比学习来增强它们在预训练嵌入中的相似性。通过进行潜空间分析,我们观察到 SNIP 提供了对表示的跨领域见解,揭示了符号监督如何增强数字数据的嵌入以及反之。我们在包括符号到数值数学性质预测和数值到符号方程发现...
该文介绍了一种名为SNIP的预训练方法,通过符号和数字领域之间的联合对比学习增强它们在预训练嵌入中的相似性。该方法在符号回归等任务上表现出色,能够有效地应用于各种任务,在少样本学习场景中始终优于全监督基线并与已确立的任务特定方法竞争激烈。