引导 OTS-Funcimg 预训练模型（Botfip）—— 一个综合的符号回归框架
内容提要
本文汇总多项AI研究：iBOT以在线分词器进行掩蔽图像建模，在分类及下游任务中领先；CapFSAR借助多模态基础模型实现少样本分类最优；贝叶斯符号回归提升可解释性与准确性；SNIP通过符号—数值联合对比预训练，少样本表现优于全监督基线；此外还涉及OFT文本到图像扩散、BiPFT二值预训练、符号表达式变换器、通用图像翻译框架、NeuroSIM符号程序推理及n-gram符号回归先验方法。
延伸解读
符号回归的多元路径：从贝叶斯到预训练
文章汇总了多种符号回归方法，包括基于贝叶斯后验采样的SR、符号-数值联合对比预训练SNIP、符号表达式变换器以及n-gram先验方法。这些工作从不同角度提升符号回归的可解释性、准确性和少样本性能，反映出该领域正从传统遗传编程向融合先验知识与深度预训练的方向演进。
少样本学习成为跨任务共性挑战
CapFSAR在少样本分类中达到最优，SNIP在有限数据场景下优于全监督基线，NeuroSIM仅需VQA标注即可实现图像操作推理。这些研究共同表明，利用预训练模型和多模态知识来降低对标注数据的依赖，是当前AI研究的重要趋势，尤其在数据稀缺的符号回归和视觉任务中。
预训练策略的多样化与效率优化
iBOT采用在线分词器进行掩蔽图像建模，BiPFT通过二值化大幅节省计算和内存，OFT则用正交微调实现可控文本到图像生成。这些方法展示了预训练在视觉和语言任务中的不同实现路径，兼顾性能与资源效率，为下游任务适配提供了灵活选择。
Q&A
iBOT 是什么？它在图像分类任务上表现如何？
iBOT 是一个自监督学习框架，使用在线分词器进行掩蔽图像建模。研究表明，iBOT 在图像分类和下游任务中取得了领先的结果。
CapFSAR 如何实现少样本分类？
CapFSAR 利用预训练的多模态基础模型，从合成描述中提取视觉特征和文本嵌入，并设计基于 Transformer 的视觉文本聚合模块，从而在少样本情况下实现更全面的分类。在多个标准少样本基准上，它优于现有方法并达到最先进性能。
基于贝叶斯的符号回归方法相比遗传编程有什么优势？
该方法通过添加先验知识、控制复杂度，并利用马尔可夫链蒙特卡罗方法从后验分布中采样符号树，提高了符号回归模型的可解释性和准确性。与遗传编程相比，它更节省计算机内存。
SNIP 是什么？它在少样本学习场景中的表现如何？
SNIP 是一种符号-数字集成预训练方法，通过符号领域和数字领域之间的联合对比学习来增强它们在预训练嵌入中的相似性。在包括符号到数值性质预测和数值到符号方程发现等任务上，SNIP 在有限数据的少样本学习场景中始终优于全监督基线，并与任务特定方法竞争激烈。
NeuroSIM 系统能做什么？它需要什么样的标注数据？
NeuroSIM 系统使用基于领域特定语言（DSL）的符号程序将自然语言文本转化为图像操作，实现多模态空间的复杂推理。它仅需要视觉问题回答（VQA）的标注数据即可。实验证明，它在图像操作方面表现出与监督式数据基准相媲美或胜过的结果。
BiPFT 是什么？它有什么优点？
BiPFT 是首次提出的二元预训练基础模型转换器，用于自然语言理解任务。它通过对二值神经网络进行大规模预训练数据驱动的二值化方法，极大地节省了计算和内存资源，并提高了学习能力，具备 15.4% 优越的综合性能。
