MORTAR: 基于模型的运行时行为修复框架用于智能化的物理系统
内容提要
本文介绍了对抗弹性学习（ARL）及其在复杂环境中的应用，强调攻击者与防御者的相互训练。研究了深度强化学习在恶意攻击下的脆弱性，并提出通过对抗训练提升系统稳定性。此外，介绍了RepairAgent，这是首个基于大型语言模型的自主程序修复代理，成功修复了多项错误，为未来软件工程提供了新思路。
延伸解读
对抗弹性学习：无领域知识的攻防共训
ARL 定义攻击者和防御者两个代理，在无领域知识条件下相互探索与训练，可结合模型自由和基于模型的深度强化学习算法。这为复杂系统如电力网络提供了弹性运行的新思路，但实际部署需考虑训练稳定性和计算开销。
RepairAgent：LLM 自主修复的成本与效果
RepairAgent 是首个基于大型语言模型的自主程序修复代理，能规划并执行修复操作，成功修复 164 个错误，其中 39 个为先前技术无法修复。每个错误平均消耗 27 万 token，按 GPT-3.5 定价约 14 美分，展示了成本效益，但依赖 LLM 的可靠性和泛化能力仍需验证。
学习控制器的运行时修复与因果诊断
针对具有学习组件的赛博物理系统，研究通过因果诊断构建反事实组件来修复运行时属性违规，并在 OpenAI Gym 基准上成功修复学习控制器。该方法为 CPS 安全提供了新途径，但修复的实时性和对复杂系统的适用性仍需进一步探索。
Q&A
什么是对抗弹性学习（ARL）？
对抗弹性学习（ARL）是一种定义攻击者和防御者两个代理的学习方法，二者在没有领域知识的情况下互相训练，以提高系统的稳定性和鲁棒性。
RepairAgent的主要功能是什么？
RepairAgent是首个基于大型语言模型的自主程序修复代理，能够自主规划和执行修复操作，成功修复了164个错误。
深度强化学习在恶意攻击下的脆弱性如何影响系统？
深度强化学习在恶意攻击下存在脆弱性，这可能导致决策和控制任务的失败，因此需要通过对抗训练来提高其抗干扰性。
RepairAgent修复错误的过程是怎样的？
RepairAgent通过收集错误信息、获取修复材料和验证修复结果，自主规划和执行修复操作。
如何提高赛博物理系统中的运行时属性的稳定性？
通过对抗训练和因果诊断方法，可以提高赛博物理系统中的运行时属性的稳定性，修复学习控制器的行为问题。
RepairAgent在修复技术上有什么创新之处？
RepairAgent是首次提出基于大型语言模型的自主代理程序修复技术，为未来软件工程的代理技术提供了新思路。
