9.2.5　在线社交网络跨媒体搜索

在搜索的具体实现中，给定查询集与待搜索集S=，其中查询集和搜索集实例均由图像、文本及用户信息构成。通过输入的图像或者文本作为查询集来搜索文本或者图像，实现模态内的文本搜索文本和图像搜索图像及模态间的文本搜索图像和图像搜索文本。

在完成跨媒体数据预处理后，通过提取跨媒体数据中两种模态数据的特征及目标注特征，将其作为在线社交网络跨媒体对抗学习过程的输入，并执行跨媒体对抗学习过程，获取包括查询集和待搜索集中数据的公共语义表示。在进行搜索时，根据输入查询的数据模态信息和搜索类型，通过式（9-14）所示的相似度计算方法计算查询实例与待搜索实例的相似度。

其中，i（t）表示搜索的输入或者返回的结果的模态为图像或者文本。根据计算的相似度评分进行搜索排序，从待搜索集中返回与查询集相关且排序靠前的搜索结果。