6.5.3　主题分析

在对自然语言进行语义理解时,可以通过词语、句子、段落、文章等不同层次来提取文本的含义。在段落、文章这一层次上,分析文章的语义主题是理解文本含义的重要方式。主题建模就是指在文档集合中学习、识别和提取这些主题的过程,它不仅有助于识别文本的语义主题,还有助于加深分析人员对文本内容的理解。

文本主题模型基于词袋假设,通过发现文本中词项与词项之间的内在关联关系来生成潜在的语义主题——一组共同出现的词,它们的共现代表着更高层次的语义构念,这种构念不是由研究者预先定义的,而是由主题模型算法识别生成的。潜在狄利克雷分配(Latent Dirichlet Allocation,LDA)模型是应用较多的基础主题模型,它是建立在文档—主题(隐含语义)—词语之上的三层贝叶斯概率模型,通过对模型参数进行估算,能够输出文档集合的主题构成情况(如主题数量以及每个主题下的热词)。LDA是一种生成概率模型,其生成思想可以描述为:一篇文章中的词语可以被认为以一定的概率隶属于某个潜在的主题,而不同的潜在主题也以不同的概率隶属于该文章。

由于主题的选择仅基于统计方法,主题数量的选择和某些主题的解释是需要重点关注的问题,因此,在选择主题数量时,既要结合统计方法,也要依据专业经验。

在R中,可以使用LDA、topicmodels等程序包进行主题分析,使用LDAvis包对主题分析的结果进行可视化,具体可以参考第8.2节和8.3节。