4.2.4　在线社交网络跨媒体关联映射模型的建立

4.2.4　在线社交网络跨媒体关联映射模型的建立

为了对在线社交网络跨媒体语义进行统一的学习建模，需要建立在线社交网络跨媒体关联映射模型，构建图像—文本关联映射网络。利用在线社交网络多特征概率图模型（MFPGM）得到文本特征，利用基于注意力机制的在线社交网络图像信息表达算法IROA得到具有视觉显著性信息的图像特征，基于交叉熵建立统一的跨媒体语义关联学习损失函数，通过训练学习得到跨媒体语义空间下的公共语义特征。在线社交网络跨媒体关联映射模型的框架图如图4-3所示。

图4-3　在线社交网络跨媒体关联映射模型的框架图

将文本特征f i和图像特征f j分别输入到由多个全连接层构成的图像-文本关联映射网络中，进行语义再训练。由于两个具有相似语义的样本在公共语义空间中相近，用＜.＞表示两个样本特征f i和f j的内积。内积越大，表示两个样本语义相似性越相关。样本之间的语义相似性的计算如式（4-8）所示：

其中，σ是sigmoid函数，f i和f j表示同一模态内或不同模态内的任意两个样本特征。sij表示当前输入的图像和文本的相关性信息，如果输入样本相关，则取值为1；如果不相关，则取值为0。

给定其特征f和相似度矩阵S，为了保持公共语义特征之间的相似性以及公共语义空间的准确性，使用跨媒体关联映射损失函数对公共语义的生成进行约束。特征f的negative-log似然函数如式（4-9）所示：

损失函数采用跨媒体数据的交叉熵误差，对在线社交网络图像-文本跨媒体数据在公共语义空间下的特征表示进行约束和学习。将式（4-8）代入式（4-9），获得交叉熵目标函数如式（4-10）所示：

对图像-文本关联映射网络的参数进行更新，直到在线社交网络跨媒体数据的交叉熵损失函数J收敛到最小值。