10.2.3　媒体内和媒体间判别限定

10.2.3　媒体内和媒体间判别限定

图10-1　基于生成对抗学习的跨媒体社交网络搜索算法框架图

基于生成对抗学习的跨媒体社交网络搜索算法（CMSAL）利用表示特征=和作为输入，利用媒体内和媒体间判别限定中的媒体内语义损失和媒体间相似度损失进行计算。媒体内语义损失依据社交网络内容语义标签构造的特征分布对重构的内容特征进行度量。媒体内语义损失的意义在于确保重构的表示特征分布遵循原始话题中的语义分布，定义如式（10-1）所示：

其中，和是一种One-Hot形式的话题语义标签。符号是用于预测表示特征中每个文本内容和图像内容的话题类别概率分布函数。M和N分别是原始文本内容和图像内容的数量。θt和θv分别是S t和S v进行特征构造的参数矩阵。为了进行明确算法描述，取M=N，因此式（10-1）可以进一步表示为如式（10-2）所示：

媒体间相似度损失用于描述跨媒体内容信息特征在重构后的相关性，功能在于确保重构的表示特征能够体现跨媒体内容信息特征在同一目标语义下的关联性，如式（10-3）所示。

媒体间相似度损失可通过缩小重构特征与语义标签之间的距离差距，来最大化具有相同话题语义的跨媒体内容形式特征表示之间的相关性。如式（10-2）和式（10-3）中所描述的媒体内语义损失和媒体间相似度损失，共同通过监督学习来优化深度学习运算参数以指导跨媒体重构特征的生成过程。跨媒体重构特征生成的媒体内和媒体间判别限定通过媒体内语义损失和媒体间相似度损失的加权求和共同构成如式（10-4）所示：

其中，α和β表示相应媒体内语义损失和媒体间相似度损失的贡献权重，通过这两个经验值可以直接影响跨媒体表示特征生成损失的优化。