11.3.2 实验一：在线社交网络跨媒体事件数据集上的搜索实验
为了对基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）的搜索性能进行验证，我们选取6种先进的跨媒体搜索算法作为对比算法，在社交网络跨媒体事件数据集上进行模态间搜索与模态内搜索的实验，分别表示为图像搜索文本（I-T），文本搜索图像（T-I），图像搜索图像（I-I），文本搜索文本（T-T）4种搜索类型。采用了MAP值、精度范围曲线（precision-scope）和召回率（Recall@K）作为评价指标。
1.与对比算法MAP值的比较
我们采用MAP值作为评价指标，评估基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）和对比算法在社交网络跨媒体数据集上的搜索性能。为了充分验证跨媒体搜索算法的性能，分别在模态间和模态内进行4种类型的搜索实验，实验结果如表11-1所示。
表11-1 在线社交网络跨媒体事件数据集上的搜索MAP值比较
从表11-1中所示的基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）与对比算法的MAP值可以看出，在4种搜索形式中CSES算法显著优于所有对比算法。其中，基于DNN的 表 示 方 法Multi-DBN算 法、Bi-AE算 法、ACMR算 法、CM-GAN算法和CSES算法取得的MAP值均优于基于浅层表示的跨媒体搜索CFA算法和MACC算法，这说明通过深度神经网络可以学习到比浅层结构更加复杂的模态间映射关系，基于深层特征表示可以实现更加准确的跨媒体事件搜索。此外，CSES算法、ACMR算法和CM-GAN算法的MAP值均高于Bi-AE算法和Multi-DBN算法，这是因为CSES算法、ACMR算法和CM-GAN算法均采用了生成对抗网络（GAN）结构进行跨媒体数据的深度语义学习，而Bi-AE算法和Multi-DBN算法仅采用传统的深度神经网络实现跨模态特征的训练和学习。这说明了生成对抗网络中的生成和判别的过程能够比传统的深度学习框架学习到更加高效的语义特征，可以实现较高质量的公共语义表示，显著提高了跨媒体事件搜索的准确率。
与传统的基于DNN的跨媒体搜索算法Bi-AE和Multi-DBN相比，CSES算法采用生成对抗网络结构，具有更强的生成语义特征的能力。与同样采用GAN结构的ACMR算法和CM-GAN算法相比，CSES算法具有最佳的搜索效果，这是因为CSES算法构建了联合目标注意力机制，分别对单一模态的特征学习进行改进，并结合在线社交网络跨媒体事件GAN结构对跨媒体事件数据进行特征融合和语义共享表示，能够显著提高跨媒体语义特征学习的效果，而ACMR算法和CM-GAN算法并没有考虑优化单一模态的特征，因此实验结果中，本章提出的CSES算法表现了最佳的跨媒体事件搜索效果。
2.与对比算法precision-scope值的比较
为了进一步验证本章提出的基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）在社交网络跨媒体事件数据集上的搜索性能，将其与对比算法的precisionscope值进行比较。设置返回结果数K分别为100，200，300，400和500，在模态间与模态内的4类搜索实验中，实验结果如图11-3所示。
图11-3 在线社交网络跨媒体事件数据集上的precision-scope曲线对比
无论在模态间的搜索任务（图像搜索文本，文本搜索图像），还是模态内的搜索任务（图像搜索图像，文本搜索文本）中，本章提出的基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）与对比算法相比均实现了最佳的精度范围曲线值。
基于浅层学习的跨媒体搜索算法CFA的搜索性能在所有搜索类型的实验中结果最差。在典型的基于深度神经网络结构的跨媒体搜索算法Multi-DBN、Bi-AE、ACMR和CM-GAN中，本章提出的基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）搜索性能最佳，这是由于其他基于深度神经网络结构的跨媒体搜索算法侧重跨媒体特征之间的互补性学习，而忽略了两种模态之间的相关性学习，而CSES算法加入共同目标特征，通过注意力机制融合了跨模态数据的语义信息，因此在跨媒体搜索中表现了较好的搜索性能。此外，ACMR算法、CM-GAN算法和CSES算法均比其他基于深度神经网络结构的跨媒体搜索算法具有更好的搜索性能，因此验证了采用生成对抗GAN网络结构可以提高深度神经网络结构的公共特征表示学习能力，从而实现更好的跨媒体事件搜索效果。
3.与对比算法Recall@K值的比较
为了从多个角度验证基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）的搜索性能，采用Recall@K作为评价指标，分析CSES算法与对比算法在社交网络跨媒体事件数据集上的搜索结果。将K值分别设置为1、5和10，分别表示R@1、R@5和R@10的召回率结果。
在社交网络跨媒体事件数据集上进行的图像搜索文本的实验中，基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）与所有对比算法相比，在不同K的取值下均取得了最高的召回率。基于DNN的跨媒体搜索算法Multi DBN、Bi-AE、ACMR、CMGAN和CSES均比基于浅层表示的跨媒体搜索算法CFA和MACC取得了更高的Recall@K值。CSES算法、CM-GAN算法与ACMR算法均比其他基于DNN的深层表示算法和浅层表示算法取得了更高的Recall@K值，这是因为上述三种算法均采用了生成对抗网络，通过生成模型与判别模型的对抗学习方式，为跨媒体数据建立了较高质量的跨媒体数据公共语义空间，生成了高质量的公共语义表示，可以实现更为优越的搜索性能。
在文本搜索图像的实验中，在所有K值下与对比算法相比，本书提出的基于时空特性的在线社交网络跨媒体语义学习算法（SCSL）均取得最佳的召回率。CSES算法相比同样采用生成对抗网络GAN结构的CM-GAN算法与ACMR算法的Recall@K值均有明显提升，这是由于CM-GAN算法和ACMR算法没有对单模态特征进行优化处理，仅在深度学习的过程中加入了生成器和判别器进行模型训练，而基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）则通过建立联合目标注意力机制加强了跨媒体事件数据间的关联关系，从而提升了在线社交网络跨媒体事件搜索性能。
相比跨媒体搜索算法ACMR和CM-GAN，本章提出的基于语义学习与时空特性的在线社交网络跨媒体事件搜索算法（CSES）在社交网络跨媒体事件数据集上的两个搜索任务中平均的Recall@K值分别提升了15.26%和10.12%，平均提升了12.69%。