8.3.2 实验一：UAIU算法与对比算法的主题一致性比较
主题一致性（PMI-Score）主要基于外部语料库计算点对互信息来评价主题一致性，常用的外部语料库包括维基百科数据和百度百科数据等。利用主题一致性（PMI-Score）作为评价方法来验证UAIU算法的有效性。设置主题数量K的值分别为50和100，设置C的取值分别为5、10和20。UAIU算法的主题一致性结果优于其他对比算法，这表明UAIU相比其他6个基准算法能够捕获更多的一致性的用户搜索意图。主要是因为UAIU算法中混合了多种属性和社交网络特征来建模用户的搜索意图，能够获取更多一致性的意图表示。
UCIT算法显著优于Twitter-BTM、Twitter-TTM和LDA算法，主要是因为UCIT算法利用先前建模的用户意图和偏好来动态地推导用户当前的意图和偏好。CSTM算法的主题一致性结果优于Twitter-BTM、Twitter-TTM和LDA算法，主要原因是CSTM算法能够区分建模主题词和噪声词，并通过过滤噪声词来生成更多的词共现信息，进而能够获取更一致的用户搜索意图信息。PTM、Twitter-TTM和Twitter-BTM算法也获取了较好的主题一致性结果，主要原因是这些算法能够通过多种不同方式在一定程度上解决了社交网络上下文稀疏性问题。LDA算法表现最差，主要原因是LDA算法通过建模文档主题分布，无法解决社交网络上下文稀疏性问题，进而无法学习到更多的一致性主题。
为了验证本章提出的基于用户聚合的在线社交网络用户搜索意图理解与挖掘算法（UAIU）的有效性，以下将通过实验结果定性地分析用户搜索意图理解与挖掘的一致性信息。随机选择两个包含在UAIU算法和其他对比算法结果中的高频主题，列出前10个可能的词来分析UAIU算法的性能。选取的两个高频主题分别为“于田地震”和“病毒灵事件”，实验结果分别如表8-3和表8-4所示。
表8-3 UAIU算法与对比算法获取的“于田地震”相关的前10个词
续表
从表8-3可以看到，UAIU算法包含较多与主题相关的词，UCIT算法和CSTM算法的结果也与主题十分接近。PTM算法和Twitter-BTM算法包含一些不相关的词，如“牛肉”“资源”“旅游”和“草原”。LDA算法包含较多的不相关的词，如“旅游”“青海”“道路”和“飞机”，仅仅有部分词与主题相关，这表明其结果与主题较低的相关性。与LDA算法的结果类似，Twitter-TTM算法的结果中混合了多个不同的主题。
表8-4 UAIU算法与对比算法获取的“病毒灵事件”相关的前10个词
从表8-5可以看到，UAIU算法的结果包含较少的不相关的词，如“放学”，其他词与主题比较相关。LDA算法生成了较多不相关的词，如“英语”“辅导”“情况”等。UCIT算法的结果包含了较多的与主题相关的词，但也生成了许多普通词，如“托管班”和“工作”等。上述结果表明了本章提出的UAIU算法能够有效地理解和挖掘用户的搜索意图。