The emerging neural topic models make topic modeling more easily adaptable and extendable in unsupervised text mining. However, the existing neural topic models are difficult to retain representative information of the documents within the learnt topic representation. Fortunately, Deep Mutual Information Estimation (DMIE), which maximizes the mutual information between input data and the hidden representations to learn a good representation of the input data. DMIE provides a new paradigm for neural topic modeling. In this paper, we propose a neural topic model which incorporates deep mutual information estimation, i.e., Neural Topic Modeling with Deep Mutual Information Estimation (NTM-DMIE). NTM-DMIE is a neural network method for topic learning which maximizes the mutual information between the input documents and their latent topic representation. To learn robust topic representation, we incorporate the discriminator to discriminate negative examples and positive examples via adversarial learning. Moreover, we use both global and local mutual information to preserve the rich information of the input documents in the topic representation. We evaluate NTM-DMIE on several metrics, including accuracy of text clustering, with topic representation, topic uniqueness and topic coherence. Compared to the existing methods, the experimental results show that NTM-DMIE can outperform in all the metrics on the four datasets.

新兴的神经主题模型使主题建模在无监督文本挖掘中更容易适应和扩展。然而，现有的神经主题模型难以在学习的主题表示中保留文档的代表性信息。幸运的是，深度互信息估计 (DMIE)，它最大化输入数据和隐藏表示之间的互信息，以学习输入数据的良好表示。DMIE 为神经主题建模提供了一种新的范式。在本文中，我们提出了一种包含深度互信息估计的神经主题模型，即具有深度互信息估计的神经主题建模（NTM-DMIE）。NTM-DMIE 是一种用于主题学习的神经网络方法，它最大化输入文档与其潜在主题表示之间的互信息。为了学习鲁棒的主题表示，我们结合了鉴别器来通过对抗性学习来区分负例和正例。此外，我们同时使用全局和局部互信息来保存主题表示中输入文档的丰富信息。我们在几个指标上评估 NTM-DMIE，包括文本聚类的准确性、主题表示、主题唯一性和主题连贯性。与现有方法相比，实验结果表明，NTM-DMIE 在四个数据集的所有指标上都表现出色。我们将鉴别器结合起来，通过对抗性学习来区分负例和正例。此外，我们同时使用全局和局部互信息来保存主题表示中输入文档的丰富信息。我们在几个指标上评估 NTM-DMIE，包括文本聚类的准确性、主题表示、主题唯一性和主题连贯性。与现有方法相比，实验结果表明，NTM-DMIE 在四个数据集的所有指标上都表现出色。我们将鉴别器结合起来，通过对抗性学习来区分负例和正例。此外，我们同时使用全局和局部互信息来保存主题表示中输入文档的丰富信息。我们在几个指标上评估 NTM-DMIE，包括文本聚类的准确性、主题表示、主题唯一性和主题连贯性。与现有方法相比，实验结果表明，NTM-DMIE 在四个数据集的所有指标上都表现出色。