1.3.2 深度学习方法研究现状
深度学习是通过构建多层网络，计算机自动从底层开始层层学习，可以经过不同层次的信息处理、转化和抽象，提取出更高维、更抽象的数据，再进行特征表示（HINTON G E, et al.，2006）。21世纪以来，计算机的运算能力和运算速度得到显著提高，在快速的计算能力和巨大数据集的支持下，深度学习也得到了迅猛发展（郑远攀等，2019）。
ImageNet数据集是一个按照WordNet层次结构组织的图像数据库，其中层次结构的每个节点有成百上千张图像（DENG J，et al.，2009）。ImageNet数据集旨在手动将图像标记和分类为近22000个单独的类别，可以用于计算机视觉研究。ILSVRC（ImageNet Large-Scale Visual Recognition Challenge）比赛就是基于ImageNet数据集举办，VGGNet和ResNet均是出自此比赛（SIMONYAN K, et al.，2014；HE K, et al.，2016）。VGGNet是一种简单且广泛使用的卷积神经网络模型，它通过使用多个3*3卷积核替换AlexNet网络模型中较大的卷积核，使模型更深，具有更多非线性。相比先前的LeNet和AlexNet，精度有了很大提高；但是它的缺点在于，参数量也变得庞大，需要更大的存储空间（KRIZHEVSKY A, et al.，2017）。ResNet网络模型与AlexNet、OverFeat和VGG等传统的网络模型顺序架构不同，ResNet是一种依赖于微架构的“奇异架构”，微架构是指用于构建网络的一组“构建块”，在ResNet网络中即为残差模块。残差模块间增加跳跃连接，目的在于缓解精度饱和问题，减少训练错误。
目前，深度学习技术广泛应用于人脸识别、医学图像识别、遥感图像识别等各方面，给农业、工业、航空等各行各业带来重大变革（栗科峰等，2018；WU R, et al.，2016；刘吉等，2018；MOHAMED A A, et al.，2018；CHENG G, et al.，2018）。但这些技术的工作原理都是假设训练数据（源域）和测试数据（目标域）具有相同的特征空间和基本分布（戴文渊，2009；刘名赫，2021；张旭亚，2011）。因此，一旦测试数据的特征空间或特征分布发生变化，预测模型就无法使用，必须使用新收集的训练数据从头开始重新训练模型，同样，由于深度学习模型需要足够的标记数据进行训练，对于一个只有很少标记数据可供监督学习的目标域，几乎不可能建立深度学习模型（吴沛达，2021；苏哲，2021）。但是，如果我们能够从现有的具有大量标记数据的类似但不确定的源域中迁移和利用已获得的知识，我们就可以为目标域的深度学习模型构建打下基础。
迁移学习（Transfer Learning，TL）是新提出的为解决上述问题的一种机器学习理论，是一种将知识从源域迁移到目标域的手段（吴国琴，2017）。与传统的机器学习不同，迁移学习认为训练数据和测试数据的域可能不同。迁移学习专注于存储在解决一个问题时获得的知识，并将其应用于不同但相关的问题（PAN S J, et al.，2009；夏坚等，2022；张文博，2021）。迁移学习有四种主要实现策略：基于实例、基于特征、基于关系和基于参数。
基于实例的方法需要估计源域和目标域之间的相似度，重新加权源域中的样本，以尝试纠正边际分布差异。然后将这些重新加权的实例直接用于目标域进行训练。TrAdaBoost方法利用旧数据为新数据构建高质量的分类模型，需要新标记数据的数量也是较少的（DAI W, et al., 2007）。结果证明，该方法只使用少量的新数据和大量的旧数据即可有效的从旧的知识转移到新的知识，迭代算法即可很好地收敛到一个准确的分类模型。提出一种非参数方法，该方法可以直接产生重采样权重而无需分布估计（HUANG J, et al.，2006）。基于特征的方法是通过一些特征变换的方式，找到源域与目标域潜在的共同特征结构。空间降维方法MMDE是将域间数据特征映射到新的空间中，以达到缩小域间的原始特征差异（PANG Y, et al.，2016）。因为MMDE计算复杂度较高，迁移成分分析（Transfer Component Analysis，TCA）无需使用做好标记的数据，从而减少计算量（PAN S J，et al.，2011）。基于关系的方法主要通过学习源域和目标域之间的共同关系来迁移已获得的知识，该部分研究工作主要针对特定主题的标记文本源域和不同主题的未标记文本目标域。
基于参数的方法主要是通过源域和目标域模型的共享参数来迁移已获得的知识，共享参数（权重）的概念已广泛应用于深度学习模型中。通常，在训练深度神经网络时，模型从接近零的随机初始化权重开始，并随着越来越多的训练样本加入来调整其权重。但是，以这种方式训练深度模型需要大量时间和精力来收集和标记数据。通过基于参数的迁移学习，可以潜在地节省时间并降低成本，因为微调只需要少量的标记数据，同时使用这种方法可以帮助提高模型鲁棒性（CHEPLYGINA V, et al.，2019）。使用一种结合CNN迁移学习和数据增强的方法，预训练网络的有效特征表示可以有效的转移到目标任务（HAN D, et al.，2018）。将SVM分类器附加到基于softmax的迁移学习模型的全连接层的方法，研究结果表明，传统的基于SVM分类器的模型在癌症图像数据集上分类最差，传统的基于softmax的模型分类精度适中，而文章中提出的方法分类精度最好（FAN J，et al.，2021）。针对不同年代景德镇青花瓷真彩色图像分类的问题，采用基于参数的方法，应用ImageNet数据集上的参数和预训练权重，通过修改全连接层来实现青花瓷真彩色图像年代分类。