人工神经网络开发中的披荆斩棘

要描绘神经科学与人工智能领域相互借鉴、相互促进之完整画面，非本文的篇幅所能及。不过，两个领域都认识到“学习”无论对于生物还是对于电脑的行为都极具重要性。神经科学发现，神经元之间的联结构造——“突触”，可以被神经元的活动所改变，这一点很可能是学习的物质基础；在人工智能领域，人工神经元之间联结强度的改变也是人工神经网络进行学习的基础，而这一特性被目前的“深度学习”推到了极致，可以说引起了一场深度学习的革命。在网络搜索、网站过滤、广告推送、图像识别、语言翻译等大量应用领域，都可以找到深度学习的实际应用。其中辛顿（G.Hinton）做出了突出贡献。

辛顿出生于英国，所接受的是基督教学校的教育，不过他早早地就认为基督教神学纯属废话。1982年左右辛顿和谢伊诺斯基（T.Sejnowski）一起找到了训练人工神经网络的漂亮方法，从而发明了玻尔兹曼机（Boltzmann machine），其在人工智能和计算神经科学领域都起到了很重要的应用。辛顿还和同行们一起推动了BP算法也即反向传播算法（back-propagation）的广泛应用，之后他一直致力于优化人工神经网络的学习。但是在20世纪90年代到2006年之间，人工神经网络慢慢地淡出了人工智能领域的前沿，也许是因为在实际应用中，人工神经网络的计算结果容易进入局部极小值（local minimum）而找不到全局最小值（global minimum），从而无法实现对实际问题的求解。然而有时候，坚守是会得到回报的。辛顿和另一位深度学习奠基人燕乐存（Y.LeCun），就是对这句话的最好诠释。他们两人都从神经系统的原理得到灵感：燕乐存把脑的视觉系统的组织结构扩展到人工神经网络中，发明了卷积神经网络，实现了高效的手写字识别；而辛顿则把大脑皮层中分层的组织原则移植到人工神经网络中，在2006年发明了深度学习的训练方法。恰逢计算机能力在2006年前后获得急速提升的良机，网络的大量普及使用提供了大规模的数据，使得深度学习得以发挥其多层网络之优势。在大数据的训练和冲击下，那些局部极小值消失了，取而代之的是全局最小值。 目前，深度学习在很多特定的任务如人脸识别、图像中的物体识别、语音识别等应用中的正确率，已经超过了人类。辛顿兼职进入谷歌，而谷歌也收购了“深心”（DeepMind）这家由系统神经科学家所创办的公司，结合深度学习与神经科学中的强化学习（reinforcement learning）概念，“深心”团队创造了“阿法狗”，并在人机围棋赛中战胜李世石和其他顶级职业高手，也许这是对深度学习革命的最好注解。(https://www.daowen.com)

燕乐存（左）和辛顿（右）（图片来源：http://mt.sohu.com/20160908/n468004003.shtml）