本文介绍了一种新颖的神经自回归主题模型ctx-DocNADE，该模型结合了主题模型和语言模型，通过嵌入词的静态信息，提升了小语料库和短文本中的词-主题映射效果，展现了良好的泛化能力和可解释性。

本研究分析神经自回归语言模型的长距离上下文表征，提出新方法评估其在下游任务中的表现。研究揭示了不同模型在长距离上下文处理上的差异，并探讨通过调整模型大小和训练配置来提升其能力。