本研究探讨了大型语言模型在指令微调后上下文依赖性降低的现象。通过“上下文参数反演”，揭示了模型在微调初期依赖性上升但随后下降的趋势，并提出了一些缓解策略。

该研究提出了一种混合方法，结合加权有限状态转换器和神经语言模型，以解决文本归一化中的上下文依赖性问题。通过对比学习和推理感知预训练，提升了数值推理能力，实验结果显示准确性有所提高。此外，研究分析了位置编码在Transformer模型中的作用，并提出改进数字表示的方法，增强了自然语言理解性能，为未来研究提供了新思路。