5.2.1 结构与原理

5.2.1  结构与原理

神经元是大脑处理信息的基本单元,人脑由约1011个神经元组成,神经元互相连接成神经网络。神经元由细胞体和细胞突起构成,以细胞体为主体。细胞突起分为树突和轴突,树突接受刺激将兴奋或抑制信息传送到细胞体,轴突将信息从胞体传送到另一个神经元。轴突末梢有突触小体,突触小体与其他神经元的细胞体或树突相接触,形成突触。突触是神经元之间发生信息传递的关键部位,突触包括突触前膜、突触间隙和突触后膜,突触前膜通过化学接触或电接触将信息传往突触后膜受体表面,从而实现神经元的信息传递。多个神经元通过树突和轴突相连,形成一个生物神经网络。生物神经网络就是由突触连接的神经元形成的网络,网络内部的信息传递以神经元的电活动为基础。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度,即超过其阈值电位后,突触前膜将向突触间隙释放神经传递的化学物质。突触有两种类型,即兴奋性突触和抑制性突触。前者产生正突触后电位,后者产生负突触后电位。

人工神经网络是由大量处理单元经广泛互连而组成的人工网络,用来模拟生物神经网络的结构和功能,而这些处理单元称作人工神经元。人工神经网络可以看成是以人工神经元为节点,用有向加权弧连接起来的有向图。在此有向图中,人工神经元就是对生物神经元的模拟,而有向弧则是对轴突突触树突的模拟。感知器模型如图5-2所示。

图示

图5-2  感知器模型示意图

x1,x2,…,xn是来自其他人工神经元的信息作为该人工神经元的输入,权值w1,w2,…,wn表示各输入的连接强度。a是神经元兴奋时的内部阈值,当神经元输入的加权和大于a时,神经元处于兴奋状态。而神经元的输出为f(a),即激活函数,该输出为1或0,它取决于其输入之和是否大于或小于内部阈值θ。即a>θ时,该神经元被激活,进入兴奋状态,f(a)=1;当a<θ时,该神经元被抑制,f(a)=0,激活函数具有非线性特性。常用的非线性激发函数有阈值型、分段线性型、Sigmoid函数型(简称S型)和双曲正切型,其中,∑是求和节点,用于求输入信号被神经元的相应突触加权的和,这个操作构成一个线性组合器,其求和操作表达为:

a=w1x1+w2x2+w3x3+…+wnxn+Bias(偏差)(https://www.daowen.com)

人工神经网络就是由上述模式化了的一个个神经元组合在一起构成的。其基本构成形式可分为两种,即前向型和网络型。SPSS环境下的多层感知器(multilayer perceptron,MLP)通常包含1个输入层、1个或2个隐含层和1个输出层,其信息传递过程由输入层到输出层单向传递,按有教师学习方式进行训练(图5-3),当学习模式提供给网络以后,其神经元的激活值将从输入层经隐含层向输出层传播,在输出层的各神经元输出对应于输入模式的网络响应。然后,按减少希望输出与实际输出误差的原则,从输出层经隐含层,最后回到输入层逐层修正各连接权。由于这种修正过程是从输出到输入逐层进行的,所以称其为“误差逆传播算法”。随着这种误差逆传播算法的不断进行,网络对输入模式响应的正确率也将不断提高。由于此种网络有处于中间位置的隐含层,并有相应的学习规则可循,可训练这种网络,使其具有对非线性模式的识别能力。

图示

图5-3  BP神经网络的有教师学习(监督学习)算法示意图

建立神经网络时需要调整节点间连接的权重,即通常所称的“训练”,最早的也是最基本的权重调整方法是错误回馈法,此外还有其他的算法,如变化坡度法、类牛顿法、Levenberg-Marquardt法和遗传算法等。无论采用哪种训练方法,都需要有方法来控制训练的过程,如防止训练过度和控制训练的速度。对训练中的每一条记录都要重复这个步骤,用前向传播得到输出值,如果发生错误,则用回馈法进行学习。训练完成之后得到的神经网络就是在通过训练样本发现的模型,描述了训练集中响应变量受预测变量影响的变化规律。显然这种模型对训练样本会有很高的准确率,而一旦离开训练样本应用到其他数据,很可能准确度急剧下降。在软件实现中会在训练的同时用一个检验样本来计算神经网络在此检验样本上的正确率,一旦这个正确率不再升高甚至开始下降时,那么就认为现在神经网络已经达到最好的状态了,于是停止训练。