Syntactic Topic Models论文简介及其笔记| 论文笔记好用的论文笔记工具

Syntactic Topic Models

小木 NIPS 2009-09 3273 2017/05/06 09:55:27

主题模型可以很好的发现文档中潜在的语义关系，然而主题模型一般假设词语都是可交换的，尽管这在分类或者信息抽取中比较有用，但在一些更高精度语言质量要求的应用中，这个却不够。比如，主题模型可以找出与查询词有关的文档，但是却不能找出与问题相关的回答语句。再比如，主题模型可以发现“eat”和“cheesecake”经常在一起出现，但缺少描述选择偏好的表示，缺少发现某些词语后面跟随的词语。在这篇文章中，作者提出了一个Syntactic Topic Model（STM），用来推断具有语法和语义相关的主题。作者假设句子里面的词语必须符合语法树。在生成过程中，文档中单词的生成是来自于与文档相关的语义部分和句法相关的解析树。

举个简单的例子，假设一个旅游小册子中的一句话：“In the near future,you could find yourself in \_\_\_\_”。低级别的句法和文档情景都限制了后面跟的词语。从句法上讲，后面只要是个跟在介词“of”后面的名字就行了。但是，从语义上来说，由于是在旅游小册子中的，后面的词语可能是“Acapulco”、“Costa Rica”、“Australia”等，不太可能是“kitchen”、“debt”或者“pocket”之类的。作者的模型就可以在预测问题中找出这样的规则。在之前的文章中，利用句法情景的模型包括Semantic Space Model等。这些方法都可以找出具有相似情景的词语，但是却无法解释他们的语义一致性。他们无法解决一词多义的问题，比如“fly”，既可以是昆虫，也可以是棒球运动中的词语。但是，根据这个词所在的文档是描述动物还是描述词语的情况我们可以得到它准确的含义。

STM模型中，一个文档模型是可观测的句法结构和潜在语义结构的结合。文档中的句子是可交换的，其中每个句子都与一个树结构相关，如解析树（图1(b)）。句子中的每个单词都假设都与它们在树种的位置相关，以及与文档中潜在的主题相关。这个模型的隐变量包括主题、主题转移向量、主题权重、主题赋予情况，和高级别的权重。主题是关于词汇的分布（图1中的$\tau\_k$）。每个主题都与一个主题转移向量（topic transition vector）（$\pi\_k$），其权重随着父节点与子节点的主题变化而变化。主题权重$\theta\_d$是一个与文档相关的向量，它表示每个文档与每个主题的相关情况。主题分配（$z\_n$与每个内部节点相关，图1(b)）是每个单词的指示变量，是从相关单词中抽取的主题。STM是个非参贝叶斯模型，主题的数量是不固定的。

STM的生成过程

------------
1、抽取全局主题权重$\beta \sim \text{GEM}(\alpha)$
2、对于每个主题$k=\\{1,\cdots,\\}$
　　(a)、选择一个主题$\tau\_k\sim\text{Dir}(\sigma)$
　　(b)、选择一个主题转移分布$\pi\_k\sim \text{DP}(\alpha\_T,\beta)$
3、对于每个文档$d=\\{1,\cdots,M\\}$
　　(a)、选择一个主题$\theta\_d\sim \text{DP}(\alpha\_D,\beta)$
　　(b)、对于文档中的每个句子：
　　　Ⅰ、选择一个主题$z\_0 \propto \theta\_d\pi\_{start}$
　　　Ⅱ、选择一个根词（root word）$w\_0\sim \text{mult}(1,\tau\_{z\_0})$
　　　Ⅲ、对于每个其它的词$w\_n$和其父节点$p\_n,n\in\\{1,\cdots,d\_n\\}$
　　　　选择一个主题$z\_n\propto\theta\_d\pi\_{z\_{p(n)}}$
　　　　选择一个单词$w\_n\sim\text{mult}(1,\tau\_{z\_n})$

------------

STM模型与其他模型最大的差别是主题分配是来于两个向量，每个文档的主题权重和主题转移矩阵。通过这两个向量的合并，STM不仅可以获得句法情景，也可以捕捉到语义信息。

<center>
![](http://www.datalearner.com/resources/blog_images/f7315c03-dc4a-41fb-ab72-87262c7ce7dd.png)
</center>

赏

支付宝扫码打赏

如果文章对您有帮助，欢迎打赏鼓励作者