LDA Mixture Model

LDA模型本身并不对文档进行聚类操作。所有的文档都共享一个相同的Dirichlet先验$\alpha$。假设相同类型的文档应当具有相似的主题分布，那么他们可以被分到一个类别中，并共享一个关于在主题分布的先验。LDA Mixture模型如下图示3-2（b）：

<center>
![](http://www.datalearner.com/resources/blog_images/812eebf9-303e-415f-b21d-7efe985fb81f.png1)
</center>

假设$M$个文档被分到$L$个类别中。每个类别$c$有一个先验$\alpha\_c$。对于文档$j$来说，其类别$c\_j$首先来自于一个离散的分布$\eta$，且$\pi\_j$来自于$Dir(\pi\_j|\alpha\_{c\_j})$（$\pi\_j$就是这个文档的文档 - 主题分布）。那么，给定$\\{\alpha\_c\\}$、$\beta$和$\eta$，隐变量$c\_j$、$\pi\_j$和$z\_j$，与观测值（单词）$\textbf{x}\_j$的联合概率分布是：

```math
p(\textbf{x}_j,\textbf{z}_j,\pi_j,c_j | \{\alpha_c\},\beta,\eta)= p(c_j|\eta)p(\pi_j|\alpha_{c_j}) \prod_{i=1}^Np(x_{ji}|z_{ji},\beta)
```

那么，文档$j$的边缘log似然函数为：

```math
\log p(\textbf{x}_j | \{\alpha_c\},\beta,\eta) = \log \sum_{c_j=1}^L p(c_j|\eta)p(\textbf{x}_j|\alpha_{c_j},\beta)
```

HDP模型

<center>![](http://www.datalearner.com/resources/blog_images/1443c17e-5894-4eed-8b9a-540eddc1af87.png)</center>

在HDP模型中，我们首先为整个语料抽取一个先验分布$G\_0$：

```math
G_0 \sim DP(\gamma,H)
```

得到：

```math
G_0 = \sum_{k=1}^\infty \pi_{0k}\delta_{\phi_k}
```
这里的$\phi_k$是主题$k$的主题 - 词分布，它是一个多项式分布，$\phi\_k$来自于一个狄利克雷先验分布$H$。

这里的$\pi\_{0 k}$是主题的权重，$\delta\_{\phi\_k}$可以理解成指示函数。
这是什么意思呢，也就是说我们不仅抽取了主题-词分布，也抽取了每个主题 - 词分布的权重，那么实际上这个$G\_0$应该是所有文档 - 主题分布的先验。那么，对于每个文档$j$，我们都要抽取一个随机测度$G\_j^d$，它是来自于集中参数为$\alpha$和基分布为$G\_0$的狄利克雷过程。即$G\_{j}^d | \alpha,G\_0 \sim DP(\alpha,G\_0)$。也就是说，每个文档的主题分布$G\_j^d$都与$G\_0$有相同的定义域：$\\{\phi\_k\\}\_{k=1}^\infty$。也就是说，所有的文档都共享相同的主题。即：

```math
G_j^d = \sum_{k=1}^\infty \pi_{jk}\delta_{\phi_k}
```

这里的$G\_j^d$是文档$j$下所有的单词的先验，对于文档$j$中的单词$i$来说，其参数$\theta\_{ji}$是来自于$G\_j^d$。单词$x\_{ji}$是来自离散分布：

```math
p(x_{ji}|\theta_{ji}) = \theta_{jix_{ji}}
```

LDA Mixture Model

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客