基于检索引导的强化学习的布尔电路最小化
内容提要
本文综述强化学习在逻辑综合与量子电路优化中的应用：INVICTUS利用离线强化学习生成综合启发式序列，显著改善面积时延积并缩短运行时间；其他研究分别采用A2C自动优化逻辑综合、强化学习设计最小量子电路、以LDBA塑造奖励保证收敛、深度卷积网络优化量子电路（深度降低27%、门数减少15%），并提出Quarl量子电路优化器及无序量子电路编译方法（减少约50%门数），用于Ising能量最小化。
延伸解读
离线强化学习在逻辑综合中的优势
INVICTUS 采用基于模型的离线强化学习，从先前设计的训练数据集中学习生成逻辑化简启发式序列。与最先进技术相比，它在面积时延乘积上改进达30%，运行时间降低高达6.3倍。这表明离线强化学习能有效缓解逻辑综合中的局部最小值问题，且无需在线交互，适合芯片设计流程。
强化学习在量子电路优化中的多样应用
文章列举了多种强化学习用于量子电路优化的方法：深度卷积网络对12比特电路实现平均深度降低27%、门数减少15%；Quarl 利用图神经网络分解行动空间，在多数基准上优于现有优化器；无序量子电路编译减少约50%门数。这些结果展示了强化学习在量子编译任务中的辅助潜力。
奖励塑造与收敛保证的进展
LCRL 使用 Limit Deterministic Buchi Automata 表达线性时间规范，并实时塑造奖励函数，在适当假设下理论保证收敛到最优策略。案例研究表明，相比传统强化学习，其鲁棒性更好且性能可扩展。这为强化学习在逻辑综合等安全关键场景的应用提供了可靠性基础。
Q&A
INVICTUS 是如何利用强化学习优化逻辑综合的？
INVICTUS 是一种基于模型的离线强化学习解决方案，它自动生成一系列逻辑化简启发式的序列，这些启发式基于先前设计的训练数据集。该方法用于芯片设计的逻辑合成，能够显著改善合成电路的面积时延乘积（ADP），改进达到最先进技术的30%，同时运行时间降低高达6.3倍。
强化学习如何用于设计最小量子电路？
有研究利用强化学习环境，通过量子电路综合的方式可靠设计最小量子电路。针对目标初始化和量子比特数量进行了实验，实现了对2比特贝尔态的选择性设计。
LCRL 如何利用 LDBA 来保证强化学习收敛？
LCRL 使用 Limit Deterministic Buchi Automata（LDBA）来表达给定的线性时间规范，并利用 LDBA 结构实时塑造强化学习算法的奖励函数。在适当假设下，理论保证强化学习算法收敛到最优策略，最大化满足概率。案例研究表明，由于 LDBA 引导的探索和 LCRL 的无模型架构，CCRL 的鲁棒性表现更好，并且在可应用于 LTL 规范的情况下性能良好扩展。
深度卷积网络在量子电路优化中取得了什么效果？
一项研究使用基于强化学习的方法，通过深度卷积神经网络对量子电路进行优化，实现了对特定架构的任意量子电路的自主学习及优化。对12比特电路实验得出，平均深度降低27%，门数降低15%，并探讨了方法在近期量子设备上的可行性。
Quarl 量子电路优化器有什么特点？
Quarl 是一种基于学习的量子电路优化器，通过将行动空间分解为两部分并利用图神经网络在状态表示中进行引导，解决了量子电路优化中的行动空间和状态表示的挑战。它在几乎所有基准电路上都明显优于现有的电路优化器，能够学习执行复杂的非局部电路优化。
深度强化学习在无序量子电路编译中有什么表现？
深度强化学习在无序量子电路编译任务中表现优异，减少了大约50%的门数量，并展示了机器学习技术在量子编译任务中的辅助能力。
