11.2.2 CSES算法描述
基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）以在线社交网络事件的跨媒体数据作为研究对象，以基于联合目标注意力和生成对抗网络的公共语义学习模型OAAL为核心，实现精准的在线社交网络事件的跨媒体搜索。图11-1是基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）的框架图。该算法通过基于联合目标注意力和生成对抗网络的公共语义学习模型（OAAL）进行在线社交网络跨媒体事件大数据的深度语义学习，获得语义一致性表示。基于OAAL生成的公共语义表示，对在线社交网络跨媒体事件数据之间相似性进行准确的测量，实现了在线社交网络事件的跨媒体精准搜索。
基于联合目标注意力和生成对抗网络的公共语义学习模型（OAAL）主要包含两部分：联合目标注意力机制和在线社交网络跨媒体事件GAN网络。联合目标注意力机制采用目标特征作为指导信息，分别指导图像特征和文本特征的生成过程，从而获取具有丰富语义关联关系的新的文本特征与图像特征。在线社交网络跨媒体事件GAN网络，通过生成过程与判别过程之间的动态博弈，为在线社交网络跨媒体事件数据建立了公共语义空间，获取了公共语义表示。
图11-1 基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法框架图
在线社交网络跨媒体事件搜索以跨媒体数据的公共语义表示为基础，在进行事件的跨媒体搜索时判断搜索的类型，计算搜索项与待搜索项之间的余弦距离。以该距离作为搜索项与待搜索项之间的相似性，通过对相似度进行排序，返回搜索结果。
以下给出在线社交网络跨媒体事件搜索的定义。给定在线社交网络事件的跨媒体数据集
，其中d n=（v n，tn，En）表示在线社交网络跨媒体事件数据集中的每个数据实例，v n和t n表示该实例中的图像和文本。
表示每个数据实例所属的事件。N表示在线社交网络跨媒体事件数据集中的实例数，E表示事件的数量。事件标签向量中的每个元素Ene，值为1或0。其中1表示实例d n属于第e个事件，0表示实例d n不属于第e个事件。通过构造事件标签矩阵S，表示两个样本是否属于相同的事件，其中sij=0意味着两个样本不属于相同的事件，而sij=1表示两个样本至少属于同一个事件。在线社交网络跨媒体事件搜索的输入样本i可以是文本或者图像，通过CSES算法，期望返回与输入样本具有相同事件标签的样本j，即sij=1。返回的样本可以是文本或者图像。