Dependent Dirichlet Processes and Other Extensions

一般情况下，我们会给一个分布以一个非参的先验。然而，在很多应用中，我们的目标是为一组分布$\mathcal{g}=\{G_s : s\in S\}$建模。例如，$S$可能是一个区间，例如一个空间区域或者是一个协变量空间，我们需要对这些区间中的某些区域的分布建模。这个时候，如果我们认为所有的分布都有相同的先验，即$G_s= G\sim DP(\alpha,G_0)$，显然这种假设太过于严格。但如果我们假设所有的分布相互独立且分布相同，那么显然这种假设也有点浪费。那么，DDP就是就是介于二者之间的一个模型。

使用有参的模型也有类似的问题。例如如下的分层模型：

y_{ij} = \theta_i+\epsilon_{ij} \space\space\space \epsilon_{ij} \overset{i.i.d}{\sim} N(0,\sigma^2)

\theta_i=\eta+\nu_i \space\space\space \nu_i \overset{i.i.d}{\sim} N(0,\tau^2)

其中，$\eta \sim N(\eta_0,\kappa^2)$。 当$\tau^2\to 0$的时候，对于所有的$i$，我们有$\theta_i=\eta$。 当$\tau^2\to\infty$的时候，多有的均值都不相同，也就是各个组之间相互独立。 为了获取一种介于二者之间的模型，上述层次模型可以扩展一下，即给定$\tau^2$一个先验。

那么，对于分布，我们如何操作呢？有很多方法： 1、通过一个在独立非参先验条件下的基准分布，引入依赖性，例如DP混合的乘积，很简单，但是限制较大。 2、从DP中抽取独立分布的混合分布：