9.2.2　UCMS算法描述

提出的基于用户搜索意图理解的在线社交网络跨媒体搜索算法（UCMS）以在线社交网络跨媒体对抗学习为核心，以基于稀疏主题模型的在线社交网络突发话题发现算法（SBTD）获取的新浪微博突发话题数据作为对象开展研究，利用获取的用户搜索意图，结合图像的互补注意力机制和跨媒体对抗过程，实现在线社交网络跨媒体精准搜索。图9-1是基于用户搜索意图理解的在线社交网络跨媒体搜索算法（UCMS）的框架图。

基于用户搜索意图理解的在线社交网络跨媒体搜索算法（UCMS）由基于互补注意力机制和用户意图理解的特征提取、在线社交网络跨媒体对抗学习及在线社交网络跨媒体搜索三部分构成。

基于互补注意力机制和用户意图理解的特征提取由基于互补注意力机制的图像特征提取与基于用户意图理解的文本特征提取构成。基于互补注意力机制的图像特征提取用于目标特征与聚焦特征及非聚焦特征的特征合成，并结合注意力机制提取图像的特征，通过图像模态的聚焦特征与非聚焦特征的互补机制来增强特征的学习效果；基于用户意图理解的文本特征提取通过利用用户发布的内容和用户信息，理解与挖掘用户的搜索意图，并将挖掘的搜索意图信息用于表示文本特征。

图9-1　基于用户搜索意图理解的在线社交网络跨媒体搜索算法框架图

在线社交网络跨媒体对抗学习由生成过程和判别过程组成。其中，生成过程主要由语义一致性约束、语义相似性保留损失及预测损失构成。在生成过程中通过将具有相同语义标签的不同模态的类中心尽可能靠近，减小样本与具有相同语义标签的不同模态的类中心之间的距离来改进特征关联的质量。判别过程用于鉴别模态分类信息以动态地改善语义关联的能力。基于生成过程和判别过程之间的对抗，可减小两种模态间的语义鸿沟，提高输出的跨媒体数据的公共语义表示的质量。

在线社交网络跨媒体搜索通过利用在线社交网络跨媒体突发话题数据，选择文本或者图像的查询集作为输入信息，利用在线社交网络跨媒体对抗学习过程学习到的跨媒体公共语义表示，结合相似度计算方法计算查询集与搜索集的相似性，利用返回与查询集相近的排序结果，实现在线社交网络跨媒体搜索。

为了详细描述本章提出的基于用户搜索意图理解的在线社交网络跨媒体搜索算法（UCMS），下面给出UCMS算法的相关定义。设Y={Y 1，Y 2，…，Y a}为a个社交网络跨媒体数据实例集合，每个跨媒体数据实例Y a=（i a，ta）由图像特征ia和文本特征t a构成。图像模态和文本模态的特征矩阵分别被定义为i={i 1，i 2，…，ia}和t={t 1，t 2，…，t a}。由于图像特征和文本特征分别属于不同的语义空间，具有不同的统计特性。因此，无法直接对图像模态和文本模态进行比较，需要将其映射到统一的语义空间。图像和文本模态映射的形式化表示分别为：fi（i；θi）=fi（i a；θi）和ft（t；θt）=ft（ta；θt）。基于该表示可以将图像特征和文本特征分别转换到具有相同维度的特征空间中。