10.1 引 言

10.1 引 言

本章提出一种基于生成对抗学习的跨媒体社交网络搜索算法(CMSAL)。基于跨媒体社交网络内容关联分析算法(SSCM)作为跨媒体数据信息语义分析与挖掘的核心,并在此基础上补充形成了基于生成对抗学习的跨媒体社交网络搜索算法。通过生成对抗学习,将判别器设计为从媒体内和媒体间角度对所生成跨媒体表示特征进行度量的工具。所描述的判别器通过复合神经网络实现,其参数在联合损失函数下得到优化,并遵循生成对抗学习机制来指导生成跨媒体数据的适当特征表示。特征表示的生成过程侧重于从局部语义特征的角度构造跨媒体数据的表示形式,这些特征具体表现为词组和图像像素块的组合。基于生成对抗学习的跨媒体社交网络搜索算法(CMSAL)结合了局部语义特征,以基于生成对抗学习最大化跨媒体相关性。

我们利用受查询内容影响的文本和图像特征来互补生成表示形式。基于面向媒体内和媒体间的生成对抗学习特征判别,旨在评估所构造的跨媒体表示有效性以进一步进行跨媒体信息匹配和搜索。除此之外,跨媒体社交网络内容搜索还受限于社交网络信息的数据特性,但是其内容借助网络化的社交媒体形式反映了当下社会的真实事件。大量的跨媒体社交网络内容数据为发现安全话题之间的关系,以及从多媒体角度发现有关目标安全话题内容之间关系提供了机会。跨媒体社交网络内容数据特征决定了需要通过智能算法来挖掘和学习局部相关性特征等更多细节。