13.3.4　在线社交网络跨媒体搜索模块

在线社交网络跨媒体搜索模块集成了本书提出的基于用户搜索意图理解的在线社交网络跨媒体搜索算法（UCMS），如图13-10所示。

图13-10　在线社交网络跨媒体搜索结果

结合本书提出的基于用户聚合的在线社交网络用户搜索意图理解与挖掘算法获取社交网络文本特征，采用本书提出的基于互补注意力机制的在线社交网络图像主题表达算法（CAIE）获取图像特征，采用本书提出的基于稀疏主题模型的在线社交网络突发话题发现算法获取高质量的跨媒体话题数据。映射获取的图像模态和文本模态到公共的语义空间以克服语义鸿沟问题，并通过计算跨媒体数据的相似度，实现在线社交网络跨媒体精准搜索。

由图13-10可知，系统实现了跨媒体搜索中常见的4种搜索形式，分别为：文本搜索文本、文本搜索图像、图像搜索文本及图像搜索图像。通过键入文本关键词或者上传相关的图像信息，选择不同的搜索方式，传递信息给跨媒体搜索算法，建立模态间的语义关系，并通过对抗学习算法学习不同模态的公共语义表示，计算跨媒体数据的相似度，返回搜索结果。