11.2.1　CSES算法的研究动机

实现在线社交网络跨媒体事件精准搜索的关键在于解决异构数据间的语义鸿沟，利用跨媒体事件数据的高质量公共语义表示来实现精准的在线社交网络跨媒体事件搜索。然而，文本和图像各自模态特征的质量以及用于学习跨模态关联映射关系的深度神经网络结构都会影响到跨媒体公共语义表示的质量，从而影响到在线社交网络跨媒体事件的搜索性能。因此，本章提出了基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES），从单模态特征和跨媒体语义学习网络结构两方面入手，实现了精准的在线社交网络跨媒体事件搜索。

为了克服在线社交网络短文本的语义稀疏性与时空差异性，我们采用了提出的在线社交网络多特征概率图模型MFPGM来获取在线社交网络文本的语义表示。由于描述相同在线社交网络跨媒体事件的数据中包含着相同的语义信息和场景信息，而相同的场景具有相同的目标，因此目标信息可以看作连接跨媒体事件数据的桥梁。为了更好地保留跨媒体事件数据的语义关联性，本章建立了联合目标注意力机制，采用目标特征同时指导文本特征与图像特征的生成过程，从而生成具有关联关系的文本特征与图像特征。

为了学习高质量的在线社交网络跨媒体事件数据的公共语义表示，我们构建了在线社交网络跨媒体事件GAN网络，在生成模型中设计了完备的损失函数。通过为在线社交网络跨媒体事件数据建立公共语义空间，得到了跨媒体数据的公共语义表示，进而在该公共语义表示下对不同模态的数据采用同一尺度进行相似性度量，实现了在线社交网络跨媒体事件搜索。