4.3.3 初始权值的选取
BP网络的训练总是围绕起始点的附近,沿误差函数曲线的下降方向逐渐达到误差的极小点。一旦初始值确定,就确定了网络收敛的范围。因此,选择合适的初始权值对寻找误差的极小值就显得相当重要。BP网络的优化性能与初始权值的选择关系较大,由于初始权值直接决定了BP算法所搜索的局部极小点。
研究初始权值选择的方法很多,比如以下三种方法:随机地在区间[-1,1]之间选择初始权值;随机地在零附近的一个微小区间[-0.01,0.01]之间选择初始权值;两级网络的初始权值采用不同的选择方式:输入层到隐层的连接权值初始化为很小的随机数,隐层到输出层的连接权值初始化为-1或1[5]。