11.2.4 在线社交网络跨媒体事件搜索
给定查询集合
与待搜索集合
,其中每个查询实例
和每个待搜索实例
中均包含了三种信息:图像、文本和事件类别。查询输入的形式可以是查询实例中的文本或图像,返回项的形式同样可以为文本或图像。CSES算法可以实现多种形式的搜索,包括文本搜索图像、图像搜索文本、文本搜索文本以及图像搜索图像。
在线社交网络跨媒体事件搜索希望通过输入搜索样本,返回与之相关的事件数据。首先对查询集合和待搜索集合进行预处理,获取所有的文本特征、图像特征和目标特征,将以上三种特征输入跨媒体公共语义学习模型OAAL中,获取查询集合与待搜索集合中所有数据的公共语义表示。
当输入查询时,判断其搜索类型,根据搜索类型选择待搜索集合中数据,依次使用如式(11-10)所示的余弦距离计算相似度。

其中,v/t表示输入或者返回项为图像或者文本。对搜索项与待搜索集合中的数据依次计算相似度,并根据相似度大小进行排序,返回相关事件的搜索列表,实现在线社交网络跨媒体事件搜索。