本研究使用BERT模型、UMAP降维和K-Means聚类算法从未分类的文本集合中获取主题。通过TF-IDF统计、主题多样性和主题连贯性评估主题的含义。结果显示主题建模是对无标签文本进行分类或聚类的可行选择。

本研究提出了一种新的对比学习方法，通过将其作为基于梯度的多目标优化问题，实现了平衡ELBO和对比目标的帕累托稳定解。实验证明，该框架在主题连贯性、主题多样性和下游性能方面始终产生更高性能的神经主题模型。

本文介绍了一种基于神经网络的会话自动语音识别模型，使用潜变量模块学习会话角色偏好和主题连贯性，并使用主题模型来预测主题中的单词。实验结果显示，该模型在两个汉语任务上相对字符错误率降低了最多12%。