基于注意力机制的卷积神经网络

受以上大脑视觉机制启发,本章设计了一种基于注意力机制的卷积脉冲神经网络模型(attention　mechanism-based　convolutional　spiking　neural　network,简称AMCSNN)(图4-1)。该网络结构将受视觉系统分级信息处理启发的卷积结构和以脉冲序列表示视觉信息和传递的脉冲网络结构相结合,尝试更真实地模拟大脑视觉系统对信息的表示、传递与处理过程。融合了特征提取能力强的卷积结构与提供稀疏且强大计算能力的脉冲网络结构,完成了对神经信息分级处理机制和脉冲序列信息表示与传递的模拟,同时为了保证网络的识别准确率,引入了视觉注意力机制。轻量级的注意力机制模块的引入不仅提升了网络的准确率,而且降低了网络的训练时长。

图4-1　AMCSNN的网络架构

如图4-1所示,为本章设计的AMCSNN网络架构图。该网络输入的均为视觉图像,并基于单尺度高斯差分(difference　of　Gaussians,简称DOG)滤波器模拟视网膜神经节细胞处理视觉信息与脉冲时序编码。采用分级信息处理的卷积层进行特征提取,网络中信息的表示与传递均为脉冲时间序列,卷积层之后的注意力模块从通道与空间两个维度实现卷积层的特征输出,提取更高维度的特征。网络在卷积层与注意力模块上通过无监督的脉冲时序依赖可塑性(spiking　timing　dependent　plasticity,简称STDP)进行网络权重的学习[36]。卷积层的学习采用漏积分点火模型模拟神经元脉冲发放机制,卷积层的神经元根据输入突触权重检测到更偏爱的视觉特征后就会被激活,最先被激活的神经元会抑制周围神经元的放电,以此来学习到更显著的特征。池化层采用最大池化操作对来自于卷积层的数据进行特征压缩以减少参数的数量与提高网络计算能力。通过逐层的特征提取与整合,输入监督的支持向量机模型来完成对图像的预测判定。

正如上节所介绍的,网络的设计受视觉系统的分级信息处理与信息表示和传递采用脉冲序列的形式的启发,在对现有卷积结构的改进之后,更方便处理脉冲时间序列数据。此外,由于二进制脉冲序列的稀疏性,提升了网络的计算效率。同样由于基于脉冲时序的信息不具有可微分性,无法进行反向传播与梯度计算,网络使用了来自于生物突触机制的无监督的脉冲时间依赖可塑性学习规则来完成权重的学习与更新。同时由于无监督的聚类特性,采用经典的支持向量机来完成网络的输出。引入轻量级的注意力模块是为了提高网络的预测结果。