本文提出了一种使用正则化方法处理 Variational Recurrent Autoencoder 中 latent variables 过于随意造成的语言模型崩溃问题，能够学到可解释的 latent variables 并生成多样化和有意义的句子。该方法优于多个强力 baseline，且不需要使用其他 KL 退火策略。