OptiMUS-0.3：基于大型语言模型的规模优化问题建模与求解
内容提要
OptiMUS是一种基于大型语言模型的代理程序，能够通过自然语言描述解决混合整数线性规划问题，其在简单和复杂数据集上的性能分别提高了20%和30%。OptLLM框架有效地将自然语言转化为数学问题，优化决策过程，并在多种任务中实现了显著的成本降低和准确性提升。研究还探讨了大型语言模型在优化建模中的应用及潜在研究方向。
延伸解读
OptiMUS 的迭代建模机制
OptiMUS 不仅能从自然语言生成数学模型，还具备编写、调试求解器代码以及评估解有效性的能力，并基于评估结果改进模型和代码。这种闭环迭代使其在简单数据集上性能提升超过20%，在复杂数据集上提升超过30%，相比基础LLM提示策略能多解决67%的问题。
OptLLM 的成本与准确性权衡
OptLLM 框架通过多标签分类模型预测性能，在用户预算和性能偏好下生成优化方案。实验表明，它在文本分类、问答等任务中，能以降低2.40%至49.18%的成本达到与最佳LLM相同的准确性，并在相同成本下比多目标优化算法提高2.94%至69.05%的准确性。
LLM 优化能力的边界与风险
研究显示，LLM 在小规模样本上优化能力较强，但性能受数据大小和值等因素显著影响。同时，LLM 存在想象性和幻觉问题，需谨慎处理。LEO 方法利用进化优化提升零样本优化效果，但论文也给出了实用指南并讨论了方法局限。
面向实际应用的扩展方向
文章还探讨了多个应用方向：通过三个LLM代理将语音请求转化为资源分配向量，用于电动汽车充电调度；利用OR-Instruct半自动化生成合成数据以解决数据隐私问题；以及引入动态框架让LLM请求用户提供选项和参数，以确定最优解。
Q&A
OptiMUS 是什么？
OptiMUS 是一种基于大型语言模型的代理程序，能够通过自然语言描述解决混合整数线性规划问题。
OptiMUS 在简单和复杂数据集上的性能提升是多少？
OptiMUS 在简单数据集上的性能提高了 20%，在复杂数据集上的性能提高了 30%。
OptLLM 框架的主要功能是什么？
OptLLM 框架能够将自然语言查询转化为数学问题，并支持多轮对话以优化问题的建模和求解。
使用 OptLLM 可以实现怎样的成本降低？
OptLLM 在降低成本的同时实现与最佳大型语言模型相同的准确性，成本降低幅度在 2.40% 至 49.18% 之间。
研究中提到的基于语言模型的进化优化方法是什么？
研究中提到的基于语言模型的进化优化方法称为 LEO，旨在探讨大型语言模型在零样本优化方面的能力。
如何处理大型语言模型的隐私问题？
通过训练开源的大型语言模型，提出了定制化合成数据的半自动化过程（OR-Instruct），以处理数据隐私问题。
