LLM4ED：大型语言模型用于自动方程式发现
内容提要
本文介绍了LLM-SR，一种利用大型语言模型（LLMs）发现科学方程的新方法。该方法结合科学先验和进化搜索，优化方程框架以提高数据拟合度。研究表明，LLM-SR在多个科学领域表现优越，发现的方程优于现有基准。同时，研究探讨了LLMs在数学推导中的能力及其局限性，强调模型训练对数学能力的提升作用。
延伸解读
LLM-SR 如何结合先验与搜索
LLM-SR 将方程视为数学运算符的程序，利用大型语言模型的科学先验和代码生成能力提出方程框架，再通过进化搜索优化框架参数，以平衡数据拟合与物理准确性。这种方法不同于纯数据驱动的符号回归，它借助 LLM 的领域知识缩小搜索空间，从而更高效地发现可解释的科学方程。
数学推导能力与局限
在数学推导任务中，fine-tuned FLAN-T5-large（MathT5）在静态和分布外测试集上绝对性能超过 GPT 模型，表明合成数据训练能提升数学能力。但模型对未知符号扰动和方程结构更改更敏感，常见错误包括引入不正确、无关或多余的方程，以及跳过推导步骤，说明其推理鲁棒性仍有不足。
评估指标的适用性反思
现有数学推导评估指标虽能捕捉对扰动的敏感性等一般属性，却无法凸显细粒度推理错误和模型间的重要差异。这意味着仅靠这些指标可能掩盖模型在推导步骤中的具体缺陷，未来需要更精细的评估方法来诊断推理过程，而不仅关注最终答案。
Q&A
LLM-SR是什么？
LLM-SR是一种利用大型语言模型从数据中发现科学方程的新方法，结合科学先验和进化搜索来优化方程框架。
LLM-SR在科学领域的表现如何？
LLM-SR在多个科学领域表现优越，发现的方程提供了比现有基准更好的数据拟合结果。
大型语言模型在数学推导中的能力如何？
研究表明，fine-tuned模型在数学推导能力上超过了GPT模型，但对未知符号的扰动更为敏感。
如何提高大型语言模型的数学能力？
在合成数据上训练模型可以显著提高其数学能力，超越更大的架构。
LLM-SR的优化过程是怎样的？
LLM-SR通过将方程视为数学运算符的程序，结合进化搜索来优化方程框架的参数，以提高数据拟合度。
LLM-SR与传统方程发现方法相比有什么优势？
LLM-SR结合了科学先验和进化搜索，能够发现更优的方程，提供更好的数据拟合结果，超越传统方法。
