9.3.2 实验一:UCMS与对比算法在新浪微博数据集上的搜索性能比较
本部分我们通过模态间的文本搜索图像和图像搜索文本以及模态内的文本搜索文本和图像搜索图像来进行搜索实验。利用平均准确率(MAP)和精度范围曲线(Precise-Scope)两个标准评价指标,评价UCMS算法和对比算法的搜索结果。
1.UCMS算法与对比算法在新浪微博数据上的MAP值比较
利用平均准确率(MAP)验证本章提出的基于用户搜索意图理解的在线社交网络跨媒体搜索算法(UCMS)和其他对比算法在新浪微博跨媒体突发话题数据上的搜索效果。根据模态内和模态间的4个搜索任务,对UCMS算法进行搜索性能验证,UCMS算法与对比算法在新浪微博数据上的MAP结果如表9-1所示。
从表9-1所示的模态内和模态间的跨媒体搜索的MAP结果可以看到,UCMS算法在模态内和模态间的跨媒体搜索结果均优于其他对比算法。基于深度学习的CMDN、DCML、DAML、CM-GAN及UCMS算法在新浪微博跨媒体话题数据集上搜索的MAP结果显著优于CCA和LGCFL等基于浅层学习的跨媒体搜索算法,表明基于深度学习算法能够更加充分地学习到不同模态之间的特征表示和更一致的语义信息,基于深度学习的跨媒体搜索算法取得了更好的平均准确率结果。
表9-1 UCMS算法与对比算法在新浪微博数据上的MAP值比较
在基于深度学习的跨媒体搜索算法中,UCMS算法的搜索性能明显优于CMDN、DCML、DAML、CM-GAN算法,这是因为UCMS算法通过生成网络和判别网络的对抗和博弈来学习两种模态之间的语义关联,并通过UAIU算法提取文本语义信息,结合CAIE算法获取文本特征能够有效地理解用户的搜索意图,得到更加一致的文本特征和图像特征。
传统的深度学习算法如CMDN和DCML等,仅仅通过调节网络参数和设计相应的损失函数来进行语义学习,限制了跨媒体搜索的性能。
2.UCMS算法与对比算法在新浪微博数据集上的搜索精度比较
为了更全面地验证基于用户搜索意图理解的在线社交网络跨媒体搜索算法(UCMS)在新浪微博跨媒体突发话题数据集上的效果,采用Precise-Scope曲线作为评价指标。在实验中,设置返回的搜索结果数量K的变化范围为100~1 000,步长为100,观察模态内和模态间的搜索结果。在新浪微博数据上的Precision-Scope曲线结果如图9-2所示。
从图9-2的结果可以观察到,基于用户搜索意图理解的在线社交网络跨媒体搜索算法(UCMS)在图像搜索文本、文本搜索图像、图像搜索图像及文本搜索文本任务中的Precise-Scope结果均显著优于其他对比算法,表明UCMS算法能够获取更加精准的跨媒体搜索结果。
基于浅层的跨媒体搜索算法(CCA)的搜索性能最差,表明仅仅通过浅层语义映射来进行跨媒体关联无法进一步解决语义鸿沟问题。基于用户搜索意图理解的在线社交网络跨媒体搜索算法(UCMS)显著优于其他三个基于深度学习的跨媒体搜索算法,主要的原因是UCMS算法通过利用互补的注意力机制来学习图像特征表示,并通过利用UAIU算法获取的用户意图信息作为文本表示,能够获取更加一致的语义信息,最终取得较好的跨媒体搜索性能。
图9-2 在新浪微博数据集上的搜索精度比较