本文研究了Transformer架构中OCR敏感神经元对历史文献命名实体识别的影响。通过分析神经元在不同文本中的激活模式，发现中和OCR敏感神经元可以提升历史报纸和经典注释中的NER性能，表明定向神经调制有助于改进噪声文本模型的性能。

本论文提出了一种利用预训练语言模型扩展短文本序列的方法，通过扩展神经主题模型减少噪声文本的影响，显著改善短文本主题建模的性能。