用偏好优化在规模化的化学空间中搜索能量排名对齐
内容提要
本文提出了一种新的基于强化学习的分子设计算法ChemRLformer，针对25个分子设计任务进行了深入分析，展示了其在药物发现中的有效性。通过自动奖励配置方法，提升了预测准确性，并为未来的自动化药物发现研究提供了基准。此外，研究探讨了人类偏好与语言模型的对齐，提出的新策略PRO显示出优于现有算法的效果。
延伸解读
自动奖励配置如何提升分子设计效率
文章提出一种基于实验数据的自动奖励配置方法，通过构建帕累托优势排序并训练神经网络近似奖励函数，使预测奖励排序与帕累托优势排序一致。该方法在药物发现中优于人工定义函数，Spearman相关性提高0.4。这为生成分子设计的奖励函数配置提供了高效的数据驱动方式，减少了人工设计奖励的偏差，有望加速自动化药物发现的迭代。
PRO策略：偏好排名优化对齐人类价值观
Preference Ranking Optimization（PRO）将人类偏好排名直接应用于语言模型生成响应的概率排名，实现与人类价值观的对齐。实验表明，PRO优于现有对齐算法，在自动化、奖励、GPT-4和人类评估中达到与ChatGPT和人类响应相当的结果。研究还证明，长、多样化、高质量的偏好排名序列能稳定提升对齐性能，这为语言模型对齐提供了新思路。
ChemRLformer在文本分子设计中的实证发现
ChemRLformer是一种基于强化学习的分子设计算法，通过对25个分子设计任务（包括计算复杂的蛋白质对接模拟）的深入分析，展示了文本分子设计的最新成果。研究还揭示了哪些设计选择对文本分子设计实际有帮助，为未来研究提供了独特见解和强基准，有助于推动基于AI的药物发现。
Q&A
ChemRLformer算法的主要特点是什么？
ChemRLformer是一种基于强化学习的分子设计算法，针对25个分子设计任务进行了深入分析，展示了其在药物发现中的有效性。
自动奖励配置方法如何提升预测准确性？
该方法通过构建基于帕累托优势的实验数据排序，并训练神经网络近似奖励函数，使得预测奖励相关的排序与基于帕累托优势的排序一致，从而提升了预测准确性。
什么是Preference Ranking Optimization（PRO）策略？
PRO是一种新型策略，通过将人类偏好排名应用于语言模型生成的响应，实现语言模型与人类价值观的对齐，效果优于现有算法。
研究中如何验证ChemRLformer的有效性？
研究通过对25个分子设计任务的深入分析和与目标药物评价函数的比较，验证了ChemRLformer的有效性，Spearman相关性提高了0.4。
长、多样化的偏好排名序列对模型有什么影响？
研究表明，长、多样化、高质量的偏好排名序列可以稳定提高语言模型与人类的对齐性能。
这项研究对未来的药物发现有什么启示？
该研究为未来的自动化药物发现提供了强有力的基准，推动了基于人工智能的药物发现方法的发展。
