12.3.4　在线社交网络跨媒体事件搜索模块

在线社交网络跨媒体事件的事件搜索模块实现了本书提出的基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）。采用我们提出的在线社交网络多特征概率图模型MFPGM获取具有时空信息的文本特征。采用我们提出的基于目标注意力机制的在线社交网络图像信息表达算法（IROA）获取深度图像特征。将获得的图像和文本模态的特征映射到公共语义空间，实现不同模态数据间的相似性度量。如图12-7所示有4种搜索方式：文本搜索文本、文本搜索图像、图像搜索文本、图像搜索图像。在线社交网络跨媒体事件搜索模块跨越了图像与文本模态之间的语义鸿沟，实现了模态间搜索和模态内的搜索，可以满足用户多种形式的精准搜索需求。

图12-7　在线社交网络跨媒体事件搜索功能展示