11.1　引　言

随着用户的广泛参与，在线社交网络中存在并产生了大量的事件。为了更清楚地描述事件，用户在发布社交网络消息时通常既采用文本对事件进行描述，又采用图像对事件进行展示，跨媒体事件数据中包含了丰富的语义信息。跨媒体事件数据中的图像与文本既相互呼应，又相互补充。单纯的文本搜索形式已经不能满足人们的搜索需求，通过文本搜索图像可以获得事件更直观的形象展示，通过图像搜索文本可以了解事件背后更多的信息，因此，对在线社交网络事件进行跨媒体搜索应运而生。然而，具有相似语义信息的文本和图像的语义表示方式存在着较大差异，不同特征间存在着语义鸿沟，不同时空环境下文本的语义也不同，跨媒体事件的精准搜索面临着巨大挑战。因此，需要对社交网络跨媒体事件数据进行语义学习，结合社交网络的时空特性，研究在线社交网络跨媒体事件搜索算法。

本章提出了基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）。该算法以具有时空特性的文本特征为基础，建立了联合目标注意力机制用于加强图像与文本之间的关联关系，并结合在线社交网络跨媒体事件GAN网络，构建了跨媒体事件公共语义学习模型OAAL。基于该模型学习到的语义表示，实现了同一尺度下不同模态数据的相似性度量，从而实现了跨媒体事件的精准搜索。我们将提出的基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）在真实的在线社交网络跨媒体事件数据集上与跨媒体公共数据集上分别进行了搜索实验，实验结果验证了算法的有效性。