Dependent Dirichlet Processes and Other Extensions

一般情况下，我们会给一个分布以一个非参的先验。然而，在很多应用中，我们的目标是为一组分布$\mathcal{g}=\{G_s : s\in S\}$建模。例如，$S$可能是一个区间，例如一个空间区域或者是一个协变量空间，我们需要对这些区间中的某些区域的分布建模。这个时候，如果我们认为所有的分布都有相同的先验，即$G_s= G\sim DP(\alpha,G_0)$，显然这种假设太过于严格。但如果我们假设所有的分布相互独立且分布相同，那么显然这种假设也有点浪费。那么，DDP就是就是介于二者之间的一个模型。

使用有参的模型也有类似的问题。例如如下的分层模型：

y_{ij} = \theta_i+\epsilon_{ij} \space\space\space \epsilon_{ij} \overset{i.i.d}{\sim} N(0,\sigma^2)

\theta_i=\eta+\nu_i \space\space\space \nu_i \overset{i.i.d}{\sim} N(0,\tau^2)

其中，$\eta \sim N(\eta_0,\kappa^2)$。 当$\tau^2\to 0$的时候，对于所有的$i$，我们有$\theta_i=\eta$。 当$\tau^2\to\infty$的时候，多有的均值都不相同，也就是各个组之间相互独立。 为了获取一种介于二者之间的模型，上述层次模型可以扩展一下，即给定$\tau^2$一个先验。

那么，对于分布，我们如何操作呢？有很多方法： 1、通过一个在独立非参先验条件下的基准分布，引入依赖性，例如DP混合的乘积，很简单，但是限制较大。 2、从DP中抽取独立分布的混合分布：

G_s = w_1(s)G_1^* + w_2(s)G_2^*+ \cdots + w_p(s)G_p^*

其中，$G_i^* \sim DP(\alpha,G_0)$且$\sum_{i=1}^p w_i(s)=1$，但是这种方式很难拓展到当$S$不可数的情况。 3、DDP方式：从一个Stick-breaking构造的DP开始，将权重和原子替换成合适的在$S$上的随机过程。这是一个很一般的方式。很多框架都是基于DDP模式的。

回忆一下之前的DP构造，$G\sim DP(\alpha,G_0)$当且仅当$G=\sum_{l=1}^\infty w_l \delta_{\theta_l}$，其中$\theta_l$是从$G_0$中抽取的独立同分布的样本，而$w_1=z_1$，$w_l=z_l\prod_{r=1}^{l-1}(1-z_r),l=2,3,\cdots$，这里的$z_r$是来自于$Beta(1,\alpha)$的独立同分布的样本。

为了构造针对一组随机分布集合$\mathcal{g}=\{G_s:s\in S\}$的DDP先验，我们定义：

G_s = \sum_{l=1}^\infty w_l(s)\delta_{\theta_l(s)}

----其中，$\theta_{l,S}=\{\theta_{l(s)},s\in S\}$，是来自定义在$S$上的随机过程$G_{0,S}$的独立的实现。 ----stick-breaking的权重是通过另一个分布独立实现的，该分布是$z_{l,S}=\{z_l(s):s\in S\}$，其实定义在$S$上的随机过程，且其边缘分布$z_l(s) \in Beta(1,\alpha(s))$。 ----定义原子和权重依赖的随机过程可以通过高斯过程的变形的得到。