6.2.1 全连接网络
全连接网络是神经网络的基本模型。通过神经元之间的互相连接以及非线性的激活函数，神经网络具有强大的非线性逼近能力。
本节以三层全连接网络（图6.1）为例进行介绍，其结构由输入层、隐藏层和输出层构成。
图6.1 全连接网络结构示意图
全连接网络的前向计算基本过程为
式中，x为输入向量；W1和b1分别为输入层权重矩阵和偏置向量；h为隐藏层输出；σ（·）为隐藏层非线性激活函数；W2和b2分别为隐藏层权重矩阵和偏置向量；
为输出层输出；f（·）通常视任务而定，若为分类任务则为Softmax等分类任务相关函数，若为回归任务则通常为恒定变换。
隐藏层的非线性激活函数是神经网络具有强大非线性逼近能力的关键一环，在增强模型表达能力、保持梯度传播、提升计算效率等方面发挥着重要作用。典型的非线性激活函数有阶跃函数、Sigmoid函数、tanh函数、ReLU函数，如图6.2所示。
图6.2 激活函数
（a）阶跃函数；（b）Sigmoid函数；（c）tanh函数；（d）ReLU函数
（1）阶跃函数：
(https://www.daowen.com)
阶跃函数是神经网络早期使用的激活函数，函数图像如图6.2（a）所示。该激活函数计算高效，但神经网络此时相当于线性分类器。
（2）Sigmoid函数：
Sigmoid函数的值域为（0，1），函数图像如图6.2（b）所示。作为一种连续光滑、单调递增且有界的非线性激活函数，在多层感知器时代获得了广泛应用。其缺点是：其中心非零，梯度较小，对BP（back-propagation，反向传播）算法中的梯度计算造成不利影响，导致模型的学习能力受限。
（3）tanh函数：
tanh函数的值域为（-1，1），函数图像如图6.2（c）所示。作为一种连续光滑、单调递增且有界的非线性激活函数，其主要优势是可以中心输出为零，这有利于反向传播过程，但其梯度消失问题与Sigmoid函数类似，无法有效解决。
（4）ReLU函数：
ReLU函数的值域为［0，＋
），函数图像如图6.2（d）所示。作为一种分段线性函数，ReLU函数及其变种成为深度学习时代应用得最广泛的激活函数。ReLU函数的主要优势是计算梯度高效，且无须指数、除法等运算，能显著提升模型的学习效率；其缺点是存在梯度为零的区域，这可能导致大量单元陷入死区，无法被激活。
在数据集上对网络模型进行训练过程中，通过BP算法［304］计算损失函数对网络模型参数的梯度，再配合梯度优化器获得优化的模型参数θ*，使其在数据集上总体最佳。公式如下：
