本研究提出了一种新颖的脉冲变压器强化学习（STRL）算法，旨在解决传统变压器在自主系统中的能耗问题。该算法结合了脉冲神经网络的能效与强化学习的决策能力，显著优于传统方法，展示了生物启发的低成本机器学习模型在复杂决策中的潜力。

本文介绍了改进的脉冲变压器（Spikformer）用于处理语言任务，并提出了两阶段知识蒸馏方法来训练它。通过从BERT对无标签文本进行知识蒸馏的预训练和再次从BERT进行微调，训练出的SpikeBERT模型在英文和中文文本分类任务上表现优于最先进的SNNs，甚至与BERT相当，并且能够降低能量消耗。