9.2.3　基于互补注意力机制和用户意图理解的特征提取

以下介绍跨媒体数据的特征提取，包括基于互补注意力机制的图像特征提取及基于用户意图理解的文本特征提取。

1.基于互补注意力机制的图像特征提取

在基于互补注意力机制的图像特征提取中，通过将目标特征合并到图像的聚焦特征和非聚焦特征以比较目标特征与其他特征间的相关信息，增强特征的学习能力。通过综合利用目标特征、图像的聚焦特征和非聚焦特征及文本特征的互补学习，进一步强化了跨媒体特征的学习与表示能力。图像注意力特征学习将目标特征和聚焦特征、非聚焦特征相融合，通过衡量与聚焦特征和非聚焦特征的相关性，学习不同目标下的注意力分布。

基于互补注意力机制的图像特征提取过程利用基于互补注意力机制的在线社交网络图像主题表达算法（CAIE）来进行。对于图像的聚焦特征，利用VGGNet-19来获取，并通过神经网络中的softmax函数计算得到聚焦特征的注意力概率，利用Deepfixnet方法来初始化非聚焦特征。

2.基于用户意图理解的文本特征提取

对于文本特征，利用提出的基于用户聚合的在线社交网络用户搜索意图理解与挖掘算法（UAIU）提取跨媒体数据中的文本特征理解与挖掘用户的搜索意图，提高跨媒体搜索的准确性。