10.2.5 基于生成对抗学习的跨媒体社交网络搜索算法的描述

10.2.5 基于生成对抗学习的跨媒体社交网络搜索算法的描述

为了保证在相同内容语义分布下跨媒体社交网络内容重构特征表示最大相关性,从而保证输入相关话题内容作为查询以搜索到与之相关的不同媒体形式内容信息,我们在生成对抗网络(Generative Adversarial Nets)框架下构造了Mini-Max损失以推进基于生成对抗学习的跨媒体社交网络搜索算法(CMSAL)的训练过程,如式(10-6)和式(10-7)所示:

其中是优化后的跨媒体表示特征生成、媒体内和媒体间判别限定和跨媒体判别限定运算参数矩阵。式(10-6)和式(10-7)共同构成了Mini-Max损失,在优化后的生成损失参数矩阵下使得式(10-6)最小化;在优化后的判别损失参数矩阵下使得式(10-7)最大化。二者在Mini-Max损失优化过程中达到平衡。

借助优化的参数矩阵,基于生成对抗学习的跨媒体社交网络搜索算法(CMSAL)在媒体内和媒体间判别限定以及跨媒体判别限定的作用下,通过对抗学习构造了跨媒体重构特征最大化相关表示空间。依据该表示空间相应的重构特征可用于计算相似度以进行跨媒体匹配搜索。本节采用L2-范数来进行匹配相似度计算,如式(10-8)所示:

其中,通过L2-范数所计算得到的相似度作为式(10-3)中媒体间相似度损失的一部分。另外,匹配相似度计算基于优化的生成参数矩阵和匹配参数矩阵,以实现最佳的搜索匹配效果。

通过迭代循序对媒体内和媒体间判别限定,对跨媒体判别限定运算参数收敛中涉及的运算参数进行优化。对跨媒体表示特征生成的运算参数进行了迭代循环优化。跨媒体表示特征生成的运算参数与媒体内和媒体间判别限定的运算参数、跨媒体判别限定的运算参数进行交替优化训练,通过这样的训练过程目标是使得Mini-Max损失达到平衡,即在一组参数矩阵下同时实现最小化和最大化目标。在算法迭代过程中对跨媒体表示特征生成,媒体内和媒体间判别限定,跨媒体判别限定的运算参数优化计算如式(10-9)~式(10-11)所示:

其中,u为参数更新学习率,∇θ为对参数θ的求梯度。当达到优化条件时进行运算参数赋值,为,即得到优化运算参数。