1.3　深度学习在反问题中的应用

深度学习作为人工神经网络的发展，近十来年得到空前的发展与关注，成为人工智能发展的主要动力。深度学习以其强大的自动提取特征、建立复杂数据关联、获取数据抽象信息的能力，在各类数据驱动的建模任务中取得了明显进展。本书研究的主题是时变结构模态参数辨识，主要是通过对实测振动响应进行数字信号处理来获取时变结构动力学特性，是一类针对序列数据的反问题，本质上也是数据驱动的建模任务。基于文献［228］，本节对深度学习在处理反问题方面的典型应用进行介绍。

包括辨识在内的反问题由于其不适定性，传统方法在解决此类问题时需要高度依赖专家知识，而深度学习模型由于其强大的学习能力，可以从数据中提取其他方法难以量化表征的关键信息，从而成为解决反问题的有力工具。

在图像识别方面，以充分借鉴动物视觉系统特征的卷积神经网络（convolutional neural network，CNN）模型为基础，深度学习依靠其强大的自动特征提取能力，突破人工图像特征设计局限，可有效提升对复杂图像的处理能力。1998年，LeCun等［229］将CNN应用于手写体数字识别，奠定了CNN的基本结构，但受限于当时的计算能力，并未被广泛应用。2012年，通过引入ReLU激活函数、dropout正则化方法、GPU训练等一系列新元素，AlexNet模型以绝对优势在ImageNet图像识别比赛中获得冠军，使深度学习模型开始成为图像处理领域的重要工具［230］。2015年，He等［231］提出了参数化的ReLU（parametric rectified linear unit，PReLU）以及针对性的初始化方法，增加模型特征抽象能力，在图像识别问题中超越了人类平均水平。

在目标检测方面，Grishick等［232］提出了一种基于区域的CNN检测算法（region-based CNN，R-CNN），将待检测图像分为利用传统方法分为若干包含重要信息的候选区域，利用CNN对这些区域进行特征提取，随后由支持向量机（support vector machine，SVM）基于CNN提取到的特征进行最终判断。由于深度学习模型强大的信息提取能力，R-CNN较相同框架下完成手工设计特征任务的表现显著提升。为进一步提升计算效率，Grishick［233］提出了FastR-CNN，通过对候选区域进行池化操作，统一提取特征，减少了冗余操作。Ren等［234］通过定义基准框，进一步将候选区搜索算法也由CNN模型完成，改进了算法表现。为追求更高效的目标检测方法，研究人员尝试放弃这种“先定位再判别”的两步框架。Redmon等［235］提出了YOLO算法，通过定义多种分类置信度来实现“一步”目标检测，虽然精度略差，但效率大幅提升；之后，其借鉴两步法再处理候选区域的优势，进一步提出了YOLOv2［236］和YOLOv3［237］，提升了目标检测能力。(https://www.daowen.com)

深度学习模型以其从庞大数据库中挖掘信息的能力，以及强大的特征自动提取能力，推动了涉及“识别”这类反问题的各行业的发展。在人脸识别（包括人脸辨识和人脸验证）任务中，通过比对由深度学习模型提取的深层特征可以获得高置信度结果，为其在安全、金融等领域的广泛应用提供算法基础。在遥感信息处理中，Deng等［238］采用高效可靠的多尺度目标检测方法实现了大量人工专家分析的替代，提升了遥感信息处理能力。在生态环境方面，Norouzzadeh等［239，240］依靠深度学习模型准确的野生动物识别能力对当地生态环境进行高效统计，节约了大量标识影像资料的时间，从而极大地降低了获取野生动物栖息地信息成本，促进了对野生动物的研究与保护。在缺陷检测方面，Gao等［241］为准确判断结构损伤类别与等级，同时考虑带缺陷样本有限的问题，采用通用数据集训练得到的大规模深度学习模型做结构缺陷的特征提取，并采用专业数据做精调；结果表明，在2000幅缺陷样本条件下，可对结构缺陷做出准确评估。崔雪红［242］针对有限样本下，各类型缺陷类内部差异大、类间相似度高的问题，通过对样本进行不同预处理，多角度提取样本特征，提出了一种多通道CNN缺陷检测方法，可有效提升分类准确率。Yang等［243］针对像素级别的缺陷检测问题，为有效降低数据的前后处理工作量，提出了一种全卷积的CNN模型，以捕捉多尺度的缺陷信息，尽可能地降低对前后处理的依赖，实现端到端检测；结果表明，虽然精度略有降低，但可以显著提升工作效率。

在反问题领域，除基于图像的深度学习方法外，基于序列的深度学习方法也在众多学科（特别是在力学领域）获得大量应用。以确定结构损伤位置为背景，Dackermann等［244］研究确定了一个两层框架结构中附加质量位置的问题，基于振动数据获得当前结构的频响函数及其与相应基准结构的频响残差，通过主成分分析对其进行压缩并进一步抽象，之后由神经网络模型转化为一个在位置候选集中的分类问题，从而实现损伤位置的确定。Guo等［245］为了进一步增强结构健康监测的抗噪能力，以及改善非完整观测下的诊断精度，通过振动实验来获得当前结构与基准结构的模态斜率差，以此为主要判别特征，由深度信念网对其进行抽象、信息提取，以实现结构故障的定位与损伤程度的判断。以上工作是由神经网络模型处理人工设计的特征（频响函数、振动模态等）来对故障进行辨识。由于结构故障的复杂性，因此不再使用这类人工参与前处理，转而直接进行“端到端”的结构健康监测，这有助于提高效率、降低主观性、提升监测能力。Lei等［246］在风电设备的结构健康监测任务中，建立了基于长短时记忆网络（long short time memory，LSTM）模型的诊断网络，综合利用多传感器数据提取时间序列信息，与各类基准方法相比明显提升了故障诊断精度。Hung等［247］在此基础上设计了结合CNN和LSTM的混合诊断网络，兼具了CNN捕捉局部特征和LSTM提取长期信息的优点，并通过三层框架结构验证了其故障诊断能力以及模型抗噪能力。

神经网络（artificial neural network，ANN）方法在时不变结构的模态参数辨识中也获得广泛应用。其中，一类工作为通过ANN直接从原始数据中提取结构参数。Liu等［248］采用ANN，实现了根据振动位移响应对各向异性的复合层板的材料弹性参数辨识。Xu等［249］为估计待辨识结构动力学特性，选定一个已知动力学特性的参考结构，采用ANN处理这两个结构的响应获得关系参数。Facchini等［250］在基于结构动力学特性评估结构安全性过程中，采用ANN建立了结构固有频率与根据结构振动响应的谱张量定义的频率相关指标之间的关系，通过对原始数据的抽象来获得结构当前频率。Dong［251］采用输入信号建立“状态图”，由CNN提取多维信号的空间关系，由循环神经网络（recurrent neural network，RNN）提取采样序列的时间关系，构建了由CNN和RNN组成的深度辨识网络，可直接获得待辨识参数。Luo等［252］在预测性维修任务中，通过多深度学习模型筛选长期振动信号中的特征响应，并针对此段信号采用状态空间模型进行辨识，有效提升了辨识准确率。Yu等［253］考虑到卷积的特殊性，在频域研究了CNN在系统辨识中的特点，并提出一种两步训练方法，使得网络模型相较于传统随机初始化方法能获得更优的结果。Pabisek等［254］在材料参数辨识问题中，通过将辨识过程分为正向、反向两个阶段，并将ANN应用于反向阶段直接获得材料参数，使得辨识过程无须迭代。另一类工作主要为将ANN与结构的参数化模型相对应，进而获得结构相关参数。Fei等［255］考虑系统输入已知的情况，采用不适用非线性激活函数的线性神经网络框架，对待辨识系统的传递矩阵进行建模，根据系统所受激励和响应来获得结构传递矩阵。Tutunji［256］采用泰勒展开对ANN的非线性激活函数线性化，以ARMR模型为桥梁建立系统传递函数之间的关系，研究了网络结构与系统特性之间的关系。许斌等［257］根据ANN与ARMA模型在针对动力学系统建模方面的等效性，由收敛的ANN模型直接获得ARMA模型相关参数，之后由ARMA模型计算结构动力学特性。于开平等［258］针对线性时变结构的模态参数辨识，采用全连接网络框架，通过递推最小二乘来建立时序关系，实现了模态参数在线辨识，并讨论了跟踪能力与计算代价之间的权衡。