FREED++：通过彻底复制改进基于片段的分子生成 RL 代理
内容提要
该文综述了强化学习在分子设计中的应用，涵盖多种方法：分层代理在三维空间逐步构建分子，结合3D骨架生成模型与并行图神经网络设计靶向活性分子；MolGym环境采用笛卡尔坐标与量子化学奖励；ReLeaSE利用生成与预测模型构建多属性化合物库；MolRL-MGPT通过多代理提升多样性并设计SARS-CoV-2抑制剂；ChemRLformer优化文本分子设计；MolDQN保证化学有效性并支持多目标优化；循环神经网络用于从头药物设计；PGFS解决可合成性与合成路线问题。
延伸解读
从方法演进看强化学习分子设计的多样性
文章梳理了2017至2023年间多种强化学习分子设计方法，涵盖三维结构生成、文本表示、图网络和合成路线规划等不同技术路线。这些方法并非简单替代关系，而是针对分子设计的不同环节：有的侧重空间结构构建，有的关注化学有效性，有的解决可合成性。读者可据此理解该领域尚未形成统一框架，方法选择需结合具体任务目标。
化学有效性保障是强化学习分子优化的关键约束
MolDQN通过直接修改分子结构确保100%化学有效性，并利用双Q学习和随机化价值函数进行多目标优化。这提示在强化学习分子设计中，奖励函数设计需兼顾属性优化与化学规则约束。文章还提到MolGym利用量子化学方法构建直接奖励函数，说明奖励信号的物理意义对学习效果有实质影响，而非仅追求生成数量。
可合成性问题是分子生成走向实用的重要瓶颈
PGFS专门针对分子可合成性和合成路线问题提出前向合成模型，而多数生成方法聚焦于结构生成与属性优化。文章将PGFS定位为“有挑战性的基础测试平台”，暗示现有基准可能未充分覆盖合成可行性。读者应注意，生成分子若缺乏可行合成路径，其药物研发价值将受限，这是评估此类方法时需额外关注的维度。
Q&A
强化学习在分子设计中主要能解决哪些问题？
强化学习可用于在三维空间中逐步构建分子、设计靶向活性分子、生成多属性化合物库、提升分子多样性、保证化学有效性、优化多目标性质、解决可合成性与合成路线问题等。
有哪些强化学习方法可以在三维空间中构建分子？
分层代理方法能在三维空间中逐步放置分子亚结构，仅利用能量考虑即可学习建造药物样分子、有机发光二极管分子和生物分子；3D-MolGNN_RL结合强化学习与3D骨架生成模型，通过并行图神经网络自动构建靶向分子。
MolGym环境有什么特点？
MolGym是一个强化学习环境，使用笛卡尔坐标系扩展分子结构类型，利用快速量子化学方法对能量等基本物理性质构建直接奖励函数，并构建了平移及旋转不变的状态空间，支持从零开始的高效学习。
ReLeaSE方法如何生成具有预设属性的化合物？
ReLeaSE通过深度学习和强化学习，利用生成模型和预测模型生成具有预设属性的新型化合物库，可用于生成具有单一或多个属性的有针对性的化合物库。
MolDQN如何保证生成分子的化学有效性？
MolDQN通过直接修改分子来确保100%的化学有效性，融合化学领域知识与双Q学习、随机化价值函数等强化学习技术进行分子优化，并可通过多目标强化学习同时最大化药物相似度和维持相似性。
PGFS模型主要解决分子设计中的什么问题？
PGFS是一种基于强化学习框架的前向合成模型，主要解决化学分子结构的可合成性和合成路线问题，为机器学习药物设计提供有挑战性的基础测试平台。
