基于 PID 控制的自主修复技术提升大型语言模型的鲁棒性
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
本文提出了一种改进的 transformer 架构，通过自我注意力增强模型的稳定性和容错能力，解决了 softmax transformer 的秩坍缩问题。同时，研究探讨了基于强化学习的 PID 控制算法在四旋翼飞行器中的应用，证明其性能优于传统 PID 控制器。
🔎
延伸解读
从控制视角看Transformer的秩坍缩
文章将softmax transformer的秩坍缩问题类比为控制系统中的干扰，通过引入自我注意力作为自主状态空间模型，对输入进行反馈控制。这种跨学科思路为提升模型稳定性和容错能力提供了新方向，但实际效果仍需在更多任务中验证。
强化学习PID在四旋翼上的优势
文章探讨了基于强化学习的PID控制算法在四旋翼飞行器姿态和高度控制中的应用，使用ADAM优化器和BP算法调整动态与静态增益。实验证明其性能优于恒定增益的传统PID控制器，但未提及具体测试环境和量化指标。
相关工作的脉络与差异
文章列举了多项PID与神经网络结合的研究，如PIDNet、基于PID的历史数据编码器、数字孪生调参等。这些工作分别针对图像分割、强化学习控制、控制器重校准等不同问题，与本文提出的改进Transformer架构在目标和方法上均有明显区别。
❓
Q&A
改进的 transformer 架构是如何增强模型的稳定性和容错能力的？
通过引入自我注意力作为自主状态空间模型，控制系统对输入的干扰进行反馈控制，从而提高模型的稳定性和容错能力。
该模型在实际任务中表现如何？
在目标分类、图像分割和语言建模等实际任务中，该模型的优势和鲁棒性得到了验证。
基于强化学习的 PID 控制算法在四旋翼飞行器中的应用效果如何？
该算法在四旋翼飞行器的姿态和高度控制中表现优于传统 PID 控制器。
文章中提到的优化器和算法有哪些？
使用了适应性动量（ADAM）优化器和反向传播（BP）算法进行动态和静态增益的调整。
如何解决 softmax transformer 的秩坍缩问题？
通过改进的 transformer 架构和自我注意力机制来增强模型的稳定性，从而解决秩坍缩问题。
该研究对神经网络鲁棒性问题的贡献是什么？
提出了一种通过闭环控制方法解决神经网络鲁棒性问题的尝试，利用数据流形的几何信息和优化控制。
🏷️
