6.2.3 快速归一化处理(fast normalization,FN)

更新于 2026年11月21日 版权声明
6.2.3 快速归一化处理(fast normalization,FN)

网络学习过程的本质就是学习数据分布,如果训练数据和测试数据的分布不同,网络的泛化能力就会降低;每一批次的数据分布如果不相同,网络就要在每次迭代的时候都去适应不同的分布,降低了网络的训练速度,因此需要对数据做归一化预处理。网络训练过程中,参数不断更新,除了输入层的数据外,其他层的数据分布是动态变化的,而网络参数的变化就会导致后面输入数据的分布变化,因此降低了网络的学习效率,影响了收敛速度。针对一维ECG信号,我们在上面讨论的基础上引入快速归一化以解决这个问题。一般的归一化方式:

图示

式中,E[x(k)]可以由以下方式快速取得。

设卷积核为图示,则

图示

图示(https://www.daowen.com)

这说明E[x(k)]可直接由卷积核之和与输入信号均值做点乘得出,不需要再抽样计算,对某一层的输入数据做归一化,再送入网络的下一层。这样每次FN都要比常规BN节省N(特征图长度)倍计算量。然后通过变换重构引入可以学习的参数γ,β。算法的关键就是通过后向传播算法自动学习这两个参数,解决在训练过程中网络梯度传播的稳定性:

图示

卷积层提取得到的特征受限于输入的通道数,因此ECG快速卷积前先扩张通道,再进行深度卷积,然后进行压缩。对数据的处理流程如同一个瓶颈,因此称这类模块为bottlenecks。图6-5 是由17 个卷积模块bottleneck 堆积构成,每个bottleneck 模块有3 层卷积,深度神经网络模型总共有53 层卷积。

图示

图6-5 快速深度卷积神经网络模型结构图

✍AI写作