利用预训练语言模型进行短文本主题建模
原文中文，约300字，阅读约需1分钟。发表于：。在本论文中，我们采取了一种新的方法来解决短文本主题建模中的数据稀疏问题，通过利用现有的预训练语言模型将短文本扩展为更长的序列。此外，我们提供了一种简单的解决方案，通过扩展神经主题模型来减少预训练语言模型生成的与主题无关的噪声文本的影响。我们观察到我们的模型能够显著改善短文本主题建模的性能。在极度数据稀疏的情况下，对多个真实数据集进行的大量实验证明了我们的模型可以生成优质主题，胜过现有最先进的模型。
本论文提出了一种利用预训练语言模型扩展短文本序列的方法，通过扩展神经主题模型减少噪声文本的影响，显著改善短文本主题建模的性能。
