指数分布族(Exponential Family)相关公式推导及在变分推断中的应用

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。
**未经本人允许禁止转载**。
**本博客的CSDN地址为**：https://blog.csdn.net/qy20115549/article/details/87247363

@[toc]
# 指数分布族的概念
指数分布族是一系列分布的统称，包含连续和离散的相关分布。例如，正太分布(Gaussian)、泊松分布（Poisson）、二项分布(Bernoulli)、指数分布(exponential)、Gamma分布、多项式分布(multivariate)等。
指数分布族中的分布以及指数分布族的性质，经常用于机器学习(machine learning)模型的参数假设以及参数推理中。较为典型的模型是生成模型，例如主题模型(Topic Models)中经常使用到的共轭分布(multivariate和Dirichlet分布、Bernoulli和Beta分布、Poisson和gamma分布等)。指数分布族中的共轭经常用于参数推理、另外其统计特性经常用于变分推理。例如，有兴趣的可以详细阅读下面几篇文章：

- Blei D M, Ng A Y, Jordan M I. Latent dirichlet allocation[J]. Journal of machine Learning research, 2003, 3(Jan): 993-1022.
 - Teh Y W, Newman D, Welling M. A collapsed variational Bayesian inference algorithm for latent Dirichlet allocation[C]//Advances in neural information processing systems. 2007: 1353-1360.
 - Blei D M, Kucukelbir A, McAuliffe J D. Variational inference: A review for statisticians[J]. Journal of the American Statistical Association, 2017, 112(518): 859-877. 【变分推断的综述性文章--案例代码为：https://blog.csdn.net/qy20115549/article/details/86694325】
 - Su J. Variational Inference: A Unified Framework of Generative Models and Some Revelations[J]. arXiv preprint arXiv:1807.05936, 2018.  【变分自编码器VAE、生成对抗网络GAN】
 - Wainwright M J, Jordan M I. Graphical models, exponential families, and variational inference[J]. Foundations and Trends® in Machine Learning, 2008, 1(1–2): 1-305.  【**一本书**】

**指数分布族中的分布于都写成下面的形式：**
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214085454173.png#pic_center)
其中：

- $\eta$为自然参数(natural parameter)，可以是向量形式
 - $T(x)$为充分统计量(sufficient statistic)
 - $A(\eta)$为累计函数(cumulant function)，作用是确保概率和为1
 - $h(x)$为underlying measure

# 典型分布转化
## Bernoulli分布
以下是Bernoulli分布的转化：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214091117481.png#pic_center)
对比上面的形式，可以得到：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214091216981.png#pic_center)
## Poisson分布
泊松分布的标准形式为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/2019021409150780.png#pic_center)
写成指数形式为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214091550900.png#pic_center)
因此泊松分布也属于指数分布族，其相关参数为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214091737350.png#pic_center)
## Gaussian分布
正太分布的形式为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214091848412.png#pic_center)
写成指数形式为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214091913334.png#pic_center)
因此，也满足指数组分布：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214092156879.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk=,size_16,color_FFFFFF,t_70#pic_center)
高斯分布有两个参数，因此自然参数以及充分统计量都有两个。
# 多元Gaussian分布
标准形式为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214100756669.png#pic_center)
写成指数族形式：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214100659905.png#pic_center)
对比：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214085454173.png#pic_center)
可以得到：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214101021397.png#pic_center)
自然参数为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214101434843.png#pic_center)
cumulant function为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214101518180.png#pic_center)

## Multinomial分布
多项式分布的形式为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214093310911.png#pic_center)
重写为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214093357767.png#pic_center)
从这里发现，累计函数$A(\eta)$为0了，实际上并不为0。继续转化有：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214095145805.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk=,size_16,color_FFFFFF,t_70#pic_center)
这里有：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214095224279.png#pic_center)
因此，可以得到：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214095250531.png#pic_center)
由这个式子可以转化得到$\pi_{k}$，即：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214095446438.png#pic_center)
可以看出这个式子是softmax函数。
另外，我们也可以获得：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214095546857.png#pic_center)

# 变分推断应用
在变分推理中，经常使用到的是$A(\eta)$性质，即$A(\eta)$对$(\eta$的一阶偏导数：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214103805276.png#pic_center)
上面这个公式，可以由最原始的公式得到。继续计算有：
![在这里插入图片描述](https://img-blog.csdnimg.cn/2019021410550288.png#pic_center)
例如，对二项分布而言：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214111211416.png#pic_center)
对正太分布而言：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214111310641.png#pic_center)
在变分推理中，经常要计算期望，通过这个性质，便可以将期望计算转化成求导计算。例如，
## LDA模型
LDA的概率图表示如下：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214144138644.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk=,size_16,color_FFFFFF,t_70#pic_center)
主题分布$\theta$服从先验为$\alpha$的Dirichlet分布，即：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214144213856.png#pic_center)
其中：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214144249556.png#pic_center)
对$\theta$的分布进行转化有：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214144705237.png#pic_center)
因此，可以看出Dirichlet分布也属指数分布，由上面的公式得到：
自然参数$\eta _{i}$:
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214145007254.png#pic_center)
sufficient statistic为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214145124151.png#pic_center)
log normalizer或cumulant function为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214145235551.png#pic_center)
基于上面这三个公式有：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214145331652.png#pic_center)
在LDA的变分推理中，需要将下界ELOB转化为多项期望，如下面所示：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214145547196.png#pic_center)
此公式中，包含多个期望，在计算时，每个期望都需要推导出公式。由于前面已经分析参数$\theta$，下面只例举$E_q[logp(\theta_j|\alpha)]$:
![在这里插入图片描述](https://img-blog.csdnimg.cn/2019021415001988.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk=,size_16,color_FFFFFF,t_70#pic_center)
在上面公式标红的部分，便可转化成偏导的计算，这里$\theta$对应的变分参数为$\gamma$，即：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214150442689.png#pic_center)
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214150302372.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk=,size_16,color_FFFFFF,t_70#pic_center)
这里的log normalizer或cumulant function为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214150650451.png#pic_center)
进而可以计算公式标红的期望：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214152448395.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk=,size_16,color_FFFFFF,t_70#pic_center)
其中，$\Psi(\cdot)$**为digamma函数，及Gamma函数对数的一阶偏导数**。因此有：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214153455264.png#pic_center)
关于其他期望的求法与这个类似，这里不作过多赘述，有兴趣的可以学习这篇文章：
Inference Methods for Latent Dirichlet Allocation

# 参考内容
https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter8.pdf
http://www.cs.columbia.edu/~jebara/4771/tutorials/lecture12.pdf
https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter9.pdf
http://times.cs.uiuc.edu/course/598f16/notes/lda-survey.pdf  [lda推理]

指数分布族(Exponential Family)相关公式推导及在变分推断中的应用

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客