LLM 引导演化：模型升级的自动化
内容提要
本文综述了大型语言模型（LLMs）与进化算法（EAs）的结合，探讨了LLMs在算法进化中的应用，提出了多种整合方法，如LLM GP和EvoLLM，展示了其在优化算法生成和设计任务中的优势，强调了LLMs与EAs的协同效应及未来研究方向，推动了自动算法设计的发展。
延伸解读
LLM与进化算法的双向增强
文章将LLM与进化算法的结合分为两个方向：LLM增强进化优化和进化算法增强LLM。前者利用LLM的生成能力辅助进化过程，如LLM GP演化代码、EvoLLM生成优化算法；后者则用进化算法优化LLM的提示或参数，如EvoPrompt优化离散提示。这种双向视角表明两者并非简单叠加，而是存在深层的互补性，为自动算法设计提供了新范式。
自动算法设计的实践进展
在具体应用中，LLM引导的进化已展现出减少人工专家依赖的潜力。例如，AEL框架在旅行商问题中自动设计出优于人工设计的引导算法；EvoLLM在BBOB函数和神经进化任务上稳定超越传统算法。这些案例说明，LLM能够从预训练知识中提取有效的搜索启发式，但文章也指出，在基因改进任务中，虽然LLM生成的补丁通过率更高，最佳补丁仍由标准方法找到，提示LLM并非万能。
理论一致性与未来挑战
文章深入探讨了LLM与进化算法在机制上的强一致性，如注意力与交叉、前馈网络与突变等对应关系。这种类比不仅揭示了LLM背后的进化机制，也为融合设计提供了理论依据。然而，LLM的幻觉和想象性可能影响优化可靠性，LEO方法特别强调了这一点。未来研究需在利用LLM创造力的同时，建立更稳健的验证机制，并探索多任务学习与多目标优化的结合。
Q&A
大型语言模型（LLMs）与进化算法（EAs）结合的优势是什么？
LLMs与EAs结合能够利用各自的优势，自动生成优化算法，减少人工专家需求，并在多种应用场景中表现优异。
什么是LLM GP，它的主要功能是什么？
LLM GP是一种基于LLM的形式化演化算法，旨在演化代码，利用LLM的提示和预训练能力。
EvoLLM是如何提升算法性能的？
EvoLLM通过least-to-most排序的提示策略提供演化优化算法，稳定优于传统算法，尤其在合成BBOB函数和小规模神经进化任务中表现突出。
如何利用LLMs进行算法进化？
利用LLMs进行算法进化可以自动生成优化算法，特别是在解决推销员旅行问题上表现优异，具有良好的可伸缩性。
EvoPrompt框架的主要贡献是什么？
EvoPrompt框架极大提升了LLMs在离散提示优化中的表现，展示了LLMs与传统算法结合的协同效应。
未来研究方向在LLMs与EAs结合中有哪些？
未来研究方向包括深入探讨LLMs与EAs的耦合特性，解决现有研究中的关键挑战，并推动进化人工智能代理的发展。
