高效引导局部搜索的设计：进化计算与大型语言模型超越人类的实例
内容提要
该文综述大语言模型与进化算法结合的研究，涵盖：自动生成优化算法求解旅行商问题、模拟人类设计的协作设计框架、优化离散提示的EvoPrompt框架、LLM设计多目标进化算子、降低计算成本的可学习进化算法、以LLM作突变操作提升补丁通过率、自动优化ML内核的GEVO-ML、LLM支持软件模型演化、多智能体协作搜索优于传统方法，以及加速大规模TSP求解的图神经网络混合方法。
延伸解读
LLM与进化算法结合的两条路径
文章展示了LLM与进化算法结合的两种主要方式：一是用LLM自动生成或设计优化算法（如求解TSP、设计多目标进化算子），减少对人工专家和领域知识的依赖；二是将LLM作为进化过程中的操作符（如EvoPrompt优化离散提示、作为突变操作改进补丁）。前者侧重算法创造，后者侧重搜索增强，两者都体现了LLM与传统进化计算协同的潜力。
性能提升有数据，但并非全面占优
文章给出了具体实验数据：基于LLM的编辑补丁单元测试通过数比标准插入编辑高75%，但补丁多样性较低，且最佳补丁仍由标准基因改进找到；图神经网络混合方法将100节点TSP平均最优性差从1.534%降至0.705%，泛化到100节点时从18.845%降至2.622%。这些结果说明LLM方法在特定指标上优势明显，但并非在所有场景下都优于传统方法，需结合任务特点评估。
应用场景已从算法设计扩展到软件工程
文章列举的应用不限于组合优化：GEVO-ML自动发现ML内核优化机会并调优GPU上MLIR代码性能；LLM支持软件模型演化，实验显示有较大潜力；多智能体协作搜索在人机系统设计中优于传统手动策略和树状搜索。这表明LLM与进化计算的结合正从理论算法研究走向软件工程、机器学习系统优化等实际领域，但多数工作仍处于实验评估阶段。
Q&A
大型语言模型如何用于自动生成优化算法？
利用大型语言模型进行算法进化，能够自动生成优化算法，减少人工专家和领域知识的需求，在解决旅行商问题方面表现优异，具有出色的可伸缩性，与先前将语言模型作为搜索操作符的尝试大不相同。
EvoPrompt框架是什么？它有什么作用？
EvoPrompt是一个通过连接大型语言模型和进化算法来进行离散提示优化的新框架，能极大提升语言理解和生成任务中大型语言模型的表现，并展示了语言模型与传统算法结合的协同效应。
使用LLM作为突变操作对基因改进有什么效果？
评估发现，基于大型语言模型的编辑补丁与标准插入编辑相比，单元测试通过的补丁数量高出75%，但补丁多样性较低；虽然大量改进补丁是通过LLM增强的基因改进找到的，但最佳改进补丁仍是通过标准基因改进找到的。
GEVO-ML工具是做什么的？
GEVO-ML是一个用于自动发现ML内核优化机会和性能调优的工具，在多层中间表示（MLIR）中统一表示模型和训练/预测过程，使用多目标进化搜索来改进在GPU上运行的MLIR代码的性能，同时保持所需功能。
基于图神经网络和引导局部搜索的TSP方法有什么优势？
该方法能够在不损失解决方案质量的同时快速求解大规模TSP实例。实验证明，将100个节点问题集的平均最优性差从1.534%减少到0.705%；将20个节点实例推广到100个节点问题集时，最优性差从18.845%减少到2.622%，分别提高了2倍和7倍。
多智能体协作搜索方法相比传统方法有什么优势？
提出的一种新的多智能体协作搜索方法，实验结果表明该方法优于传统的手动设计策略和传统树状搜索方法，并能够用于研究不同的人类创造性活动。
