3.3.2 CAIE算法描述

3.3.2 CAIE算法描述

CAIE算法将图像特征划分为聚焦特征和非聚焦特征,通过目标与图像区域的相关性,实现目标特征指导下的图像特征生成。聚焦特征主要用于提取与图像自身语义紧密相关的信息,非聚焦特征用于提取视觉上可能关注的内容,以加强聚焦特征。

将图像信息的每个目标特征和区域特征矩阵输入神经网络中,把计算得到的目标特征及图像的聚焦特征作为输入,利用神经网络中的softmax函数计算得到聚焦特征的注意力概率。由于Deep Fix Net结果不完全适用于图像搜索的要求,需要在图像数据上进行优化和调整,将融合目标特征后的聚焦特征和非聚焦特征作为输出,融合公式如式(3-13)所示:

其中,κ表示权重参数,用于调节聚焦特征和非聚焦特征的输出。将κ值设置为0.6。通过上述融合方式,得到的新特征包含语义信息、目标信息以及注意力信息。

利用softmax层来调整输出向量的概率信息,训练图像检索数据集的分类网络,计算公式如式(3-14)所示:

其中,c ab是在处理第A个训练图像时softmax层生成的概率向量的第B个分量,d ab是二进制开关变量,当且仅当第A训练图像属于训练图像的第B类时等于1,β是调节参数范数的常数。