该研究提出了一种混合方法，结合加权有限状态转换器和神经语言模型，以解决文本归一化中的上下文依赖性问题。通过对比学习和推理感知预训练，提升了数值推理能力，实验结果显示准确性有所提高。此外，研究分析了位置编码在Transformer模型中的作用，并提出改进数字表示的方法，增强了自然语言理解性能，为未来研究提供了新思路。