基于STDP规则的网络学习

本章的AMCSNN采用无监督的STDP规则来对卷积层的突触连接权重进行学习更新,学习是逐层完成的。网络的初始突触连接权重由具有小方差、高均值的正态分布随机产生,每张图像的输入,所有神经元的膜电位均恢复至初始状态,直至卷积层中某一神经元的膜电位累积达到阈值电位时产生脉冲,当卷积层神经元的脉冲发放数达到一定数值时,触发学习规则,根据突触前后神经元的脉冲发放顺序不断更新迭代所有神经元的学习率和突触连接权重,得到最先发放脉冲的神经元。根据突触可塑性原理的STDP规则[27],在网络学习中,如果前突触神经元先于后突触神经元受刺激,则会导致突触的长时程增强,即两个神经元突触之间的连接权重将增大;否则,会导致突触的长时程抑制,即两个神经元突触之间的连接权重将减小。本节采用的具体STDP规则如下式所示:

式中:j和i分别表示前突触神经元和后突触神经元,ti和tj对应其脉冲发放时间,Wij表示连接两个神经元的突触权重变化量,a+与a-表示突触权重缩放变化的大小,即学习率,乘法项(Wij-WLB)(WUP-Wij)是一个稳定项,当突触权重接近于较低的权重下限WLB和较高的权重上限WUP时,它会减慢权重变化的速度。