指数分布族(Exponential Family)相关公式推导及在变分推断中的应用
本文作者:合肥工业大学 管理学院 钱洋 email:1563178220@qq.com 内容可能有不到之处,欢迎交流。 未经本人允许禁止转载。 本博客的CSDN地址为:https://blog.csdn.net/qy20115549/article/details/87247363
@[toc]
指数分布族的概念
指数分布族是一系列分布的统称,包含连续和离散的相关分布。例如,正太分布(Gaussian)、泊松分布(Poisson)、二项分布(Bernoulli)、指数分布(exponential)、Gamma分布、多项式分布(multivariate)等。 指数分布族中的分布以及指数分布族的性质,经常用于机器学习(machine learning)模型的参数假设以及参数推理中。较为典型的模型是生成模型,例如主题模型(Topic Models)中经常使用到的共轭分布(multivariate和Dirichlet分布、Bernoulli和Beta分布、Poisson和gamma分布等)。指数分布族中的共轭经常用于参数推理、另外其统计特性经常用于变分推理。例如,有兴趣的可以详细阅读下面几篇文章:
- Blei D M, Ng A Y, Jordan M I. Latent dirichlet allocation[J]. Journal of machine Learning research, 2003, 3(Jan): 993-1022.
- Teh Y W, Newman D, Welling M. A collapsed variational Bayesian inference algorithm for latent Dirichlet allocation[C]//Advances in neural information processing systems. 2007: 1353-1360.
- Blei D M, Kucukelbir A, McAuliffe J D. Variational inference: A review for statisticians[J]. Journal of the American Statistical Association, 2017, 112(518): 859-877. 【变分推断的综述性文章--案例代码为:https://blog.csdn.net/qy20115549/article/details/86694325】








































