10.2.2　基于生成对抗学习的跨媒体社交网络搜索算法的提出

现有的研究工作大多是通过构造多个非线性转换来解决异质性语义鸿沟问题，从而，基于深度学习为跨媒体数据构建通用的公共语义子空间成了时下流行的跨媒体信息处理与搜索基本策略。利用公共语义子空间，可以训练非线性变换算法以生成用于语义相关性最大化的特征表示。随着深度学习研究的发展，这种策略算法逐渐分为实值表示和二值表示两种，其他一些工作着重于选择相关特征，这些特征被用来从多峰值特征中构建相关性，以通过特征选择和匹配实现跨媒体搜索。

我们将跨媒体社交网络内容关联分析算法（SSCM）作为跨媒体社交网络安全话题挖掘与搜索的生成部分，在此基础上加入媒体内和媒体间的联合损失，将基于自注意力（Self-Attention）机制对跨媒体社交网络内容信息处理扩展为基于生成对抗学习的跨媒体社交网络搜索算法（CMSAL），算法框架图如图10-1所示。

基于生成对抗学习的跨媒体社交网络搜索算法（CMSAL）包括三个主要部分：跨媒体内容信息表示特征生成，媒体内和媒体间判别限定，跨媒体判别限定。媒体内和媒体间判别限定和跨媒体判别限定作为判别器对跨媒体内容信息表示特征生成进行判别性指导，利用媒体内和媒体间判别限定，结合跨媒体判别限定，对跨媒体内容信息表示特征生成进行影响来构造用于信息搜索的跨媒体内容特征。媒体内和媒体间判别限定将生成的表示特征限定为遵循相应原始内容语义特征和跨媒体语义标签的对应分布。跨媒体判别限定尝试从统计特征角度生成用于区分不同媒体形式的特征表示来区分不同内容的媒体形式。

实现基于生成对抗学习的跨媒体社交网络搜索算法（CMSAL）的关键是对跨媒体表示生成过程的损失，以及媒体内、媒体间判别限定和跨媒体判别限定中多个损失进行定义和计算，使其形成有效的生成对抗联合损失，并使得最终的算法框架能够依据目标话题的话题内容进行跨媒体匹配搜索。