通过系统级DPO对复合人工智能系统进行对齐

本研究解决了复合人工智能系统中组件对齐的问题，这些系统包含多个相互作用的部分如大型语言模型代理和外部工具。我们提出了一种新的系统级首选优化方法（SysDPO），通过将复合AI系统建模为有向无环图（DAG），有效应对传统方法的局限性。研究表明，该方法在对齐大型语言模型和扩散模型方面取得了显著效果，为复合人工智能系统的进一步发展奠定了基础。