11.1.2 神经网络分析
通过上述的介绍，相信读者能够基本了解自然语言处理的基本含义。随着社会的发展，人工智能在NLP上的应用也越来越丰富，特别是各种神经网络模型在NLP上的多场景应用，产生了文本分类、情感分析、中文分词等成果。
那么这些神经网络具体有哪些分类呢？每个神经网络模型在哪些方面更擅长呢？相信读者们都听过类似卷积神经网络（CNN）、循环神经网络（RNN）、深度神经网络（DNN）这样的名词。那接下来的内容作为抛砖引玉，为读者简单介绍业界常用的神经网络模型。
1.卷积神经网络
卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，它包括卷积层和池化层，在大型图像处理、图像分类、物体检测、物体追踪、文本检测识别等方面都有出色表现。
卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像复杂的前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。K.Fukushima在1980年提出的新识别机是卷积神经网络的第一个实现网络。随后，更多的科研工作者对该网络进行了改进。
一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数很小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。
CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显示的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。
2.循环神经网络
虽然卷积神经网络带来了一定的成果，解决了一部分问题，可是在实际的应用方面（比如：自然语言处理等方面），通常会需要借助当前处理单元的前期信息才能更好的为当前处理单元做出判断。随着深度学习的发展，为了解决这些问题，提出了循环神经网络。
循环神经网络（Recurrent Neural Network，RNN）是一种节点定向连接成环的人工神经网络，是由神经网络专家如Jordan，Pineda，Williams，Elman等在上世纪80年代末提出的。这种网络的内部状态可以展示动态时序行为。不同于卷积神经网络，循环神经网络RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。在自然语言处理方面，RNN相对于CNN具有更大优势，目前业界常用RNN来处理自然语言相关问题。循环神经网络逻辑结构图如图11-1所示，根据逻辑结构图，我们能够明显看到前一个处理单元的信息被下一个处理单元有效利用，这是循环神经网络的一个显著特点。
(https://www.daowen.com)
图11-1 循环神经网络结构图
循环神经网络的本质特征是在处理单元之间既有内部的反馈连接又有前馈连接。从系统观点看，它是一个反馈动力系统，在计算过程中体现过程动态特性，比卷积神经网络具有更强的动态行为和计算能力。循环神经网络现已成为国际上神经网络专家研究的重要对象之一。
提到循环神经网络，不得不提的就是循环神经中最有名、也是应用最广的LSTM（长短期记忆网络）。它是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。目前，LSTM已经在科技领域有了多种应用。在学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等方面，都能看见LSTM的身影。
3.深度神经网络
深度神经网络（Deep Neural Network，DNN），是近几年在工业界和学术界新兴的一个机器学习领域的流行话题。随着深度学习的蓬勃发展，传统的浅层神经网络已经不能满足人们的需求，因此，提出了深度神经网络，用更深层次的网络结果来提高模型准确性。最终事实也表明DNN算法成功地将以往的识别率提高了一个显著的档次。
人工神经网络起源于上世纪40年代，直到2006年深度网络和深度学习概念的提出，神经网络又开始焕发一轮新的生命。深度网络，从字面上理解就是深层次的神经网络，这个名词由多伦多大学的Geoff Hinton研究组于2006年创造。深度神经网络在做有监督学习之前要先做无监督学习，然后将无监督学习学到的权值当作有监督学习的初值进行训练。
深度神经网络可以发现未标记、非结构化数据中的潜在结构，而现实世界中的数据绝大多数都属于这一类型。非结构化数据的另一名称是原始媒体，即图片、文本、音视频文件等。因此，深度神经网络最擅长解决的一类问题就是对现实中各类未标记的原始媒体进行处理和聚类，在未经人工整理成关系数据库的数据中，甚至是尚未命名的数据中识别出相似点和异常情况。
综上所述，卷积神经网络、循环神经网络、深度神经网络在不同的应用场景下都有各自的优势。CNN主要运用在图像方面；RNN以及RNN的衍生物LSTM在处理序列化数据方面（文本）具有较好的效果和一定的优势；DNN在非结构化数据的处理上有明显优势。
然而，在自然语言处理的场景下，循环神经网络和深度神经网络的联合使用能够在为自然语言处理带来好的处理方法和结果。因此，为了达到需求工程的语义分析，我们可以采用循环神经网络和深度神经网络模型。
介绍了能够被我们有效利用的模型，那支撑这些模型的基础框架也显得至关重要了，俗话说：“工欲善其事必先利其器”。那么接下来的小节将会介绍目前在人工智能、深度学习方面，业界常用的智能框架。
