本研究分析了大语言模型在决策中的不足，如贪婪性和频率偏差。通过自生成思维链进行强化学习微调，显著提升了模型的决策能力和探索性。

该研究通过引入句法先验，提出了一种新的句法平滑方法，解决语言模型预训练中频率偏差和各向异性导致的泛化能力不足问题。此方法改善了稀有英语Token的表现，并降低了各向异性。

该研究提出了一种名为频率偏好控制模块的插件，用于提高深度神经网络在对抗样本上的鲁棒性。实验证明，该模块能够与任何对抗训练框架相结合，并在不同体系结构和数据集上进一步提高模型的鲁棒性。同时，实验还揭示了鲁棒模型的频率偏差如何影响对抗训练过程及其最终的鲁棒性。