8.3.3 实验二：UAIU算法与对比算法在意图理解与挖掘质量上的比较
我们采用准确率（Precision）、调整的兰德指数（ARI）、聚类纯度（Purity）及归一化互信息（NMI）等多个标准的指标来验证UAIU算法与对比算法的用户搜索意图理解与挖掘的质量。上述评价指标的结果越大，表明有较好的聚类性能，也就是具有较好的用户搜索意图理解与挖掘的性能。由于用户发布的内容没有标签信息，利用话题标签作为实验数据的标签信息。选择50个高频的话题标签作为聚类的类标，并通过改变主题Z的数量和前C个词的数量来验证UAIU算法和其他对比算法的性能。实验设置主题Z从10到100进行变化，观察UAIU算法与对比算法的聚类性能变化。如图8-4所示为UAIU算法与对比算法在不同主题数量情况下的用户搜索意图表示质量的结果。
图8-4 UAIU算法与对比算法在意图理解与挖掘质量上的比较
随着主题数量从10增加到50，UAIU算法与对比算法的聚类的性能都快速提升。当主题数量达到50时，UAIU算法与对比算法的性能都趋于峰值。当主题数量从50增加到100时，UAIU算法与对比算法的性能都缓慢下降。随着主题数量的不断增加，生成了较多的话题，致使聚类性能下降。UAIU算法的性能总是优于其他对比算法，且表现出较好的鲁棒性。UAIU算法综合利用用户的搜索意图以及用户关注者的搜索意图来学习用户的搜索意图分布，引入RNN和IDF作为先验知识来学习词的内部语义关系，并区分建模普通词和主题词来降低普通词对用户搜索意图理解与挖掘的影响，能够有效地捕获更一致的用户的搜索意图分布。
UCIT算法也取得了较好的聚类结果，但其相比提出的UAIU算法表现稍差，主要的原因是UCIT算法仅仅建模了用户和关注者的意图与偏好，但忽视了用户内容的潜在关系。LDA算法表现最差，主要原因是LDA算法进行文本聚类时，直接建模文档主题并未充分考虑社交网络短文本上下文稀疏性问题，且忽视了建模过程中词的内部关系。