9.1　引　言

随着社交网络跨媒体数据的快速增长，使得社交网络跨媒体搜索研究受到广泛关注。跨媒体搜索能够有效地实现跨媒体数据中不同模态间的相互搜索，且结果能够直观地反映和补充其他模态的语义信息，有助于更加深刻地刻画话题或者事件本身。传统的基于文本关键字的搜索方法已无法适用于在线社交网络跨媒体环境，无法满足基于用户搜索意图的个性化搜索的需求。在线社交网络跨媒体数据的不同模态之间存在语义鸿沟问题，社交网络的文本较为短小嘈杂并存在上下文稀疏性问题，不同用户的搜索意图存在差异性，给在线社交网络跨媒体精准搜索带来了巨大的挑战。因此，需要充分地学习不同模态的语义关联，理解与挖掘用户的搜索意图，研究适用于在线社交网络环境并满足用户搜索意图的跨媒体精准搜索算法。

浅层学习方法通过简单的线性映射来学习不同模态间的相关性，并利用核函数方法学习模态一致性表示，在跨媒体搜索性能上存在较大瓶颈。基于深层特征的方法利用非线性映射学习不同模态间的映射关系，并通过不同层次的深度网络结构来学习更细粒度的特征。因此，与基于浅层特征方法相比，深层特征方法具有较好的跨媒体搜索性能。

在跨媒体特征学习中，对于文本特征的学习，典型的学习方法包括词袋模型方法、主题模型方法及词嵌入方法。在线社交网络上下文其内容比较短小且存在上下文稀疏性问题。影响在线社交网络搜索性能的一个重要因素是获取用户的搜索意图的质量。因此，在学习文本特征时，需要考虑用户的搜索意图和在线社交网络上下文稀疏性问题。

在当前主流的基于子空间学习和基于深度神经网络方法中，大都侧重于在变换空间中最大化模态相关性或选择高质量的特征表示，而忽略了在线社交网络中用户的搜索意图。因此，需要考虑用户搜索意图，并结合跨媒体对抗学习机制，研究一种综合考虑用户搜索意图和跨媒体特性的在线社交网络跨媒体搜索算法。

为了解决上述问题，本章提出了基于用户搜索意图理解的在线社交网络跨媒体搜索算法（UCMS）。利用基于用户聚合的在线社交网络用户搜索意图理解与挖掘算法（UAIU）获取文本特征，利用基于互补注意力机制的在线社交网络图像主题表达算法（CAIE）对图像特征进行学习，通过在线社交网络跨媒体对抗学习过程得到语义一致性表示，结合相似度计算方法计算跨媒体数据的相似度，实现在线社交网络跨媒体精准搜索。为了验证本章提出的UCMS算法的跨媒体搜索的准确性，将UCMS算法在新浪微博跨媒体突发话题数据集与标准的跨媒体数据集上进行搜索实验。