8.1.3　神经反馈基本框架

应用前面介绍的操作性条件反射理论与强化学习理论，可以针对大脑训练构建闭环神经反馈系统，该系统由五部分组成：数据采集、实时数据预处理、实时特征提取、实时生成反馈信号、学习者（图8.3）。

图8.3　神经反馈系统（改编自Enriquez-Geppert，S.，et al.2017［2］）

（1）数据采集。可以应用现有神经生理和影像采集设备获取大脑实时活动，如高时间分辨率（毫秒级）的脑电图和脑磁图，这两种方式对于反馈的实时性要求来说是最佳的。此外，目前还越来越多地使用高空间分辨率的功能磁共振成像和近红外光谱，这两种设备的实时性（秒级）不如脑电图与脑磁图，但其空间分辨率能够达到毫米级，远高于脑电图。近年来研究的一个热点是将脑电的高时间分辨率与核磁共振技术的高空间分辨率优势结合起来，设计开发核磁兼容的脑电设备。

（2）实时数据预处理。神经反馈的另一大模块是在线预处理模块，由于其实时性，对数据预处理算法提出了更高要求。预处理是信号和图像处理的重要环节，其目的是去除脑电中的伪迹成分（包括眼电、肌电、基线漂移等）或核磁信号中的头动等伪迹，获得比较纯净的脑活动信号。

（3）实时特征提取。这部分是神经反馈系统的核心，其特征设计需要大量前期研究的积累。特征提取阶段涉及从神经反馈期间的脑活动计算选择特征，一般来说这些特征代表了实验设计者想要调节的与特定认知功能相关的脑活动模式，如EEG功率中的alpha频带活动的调节等。目前火热的机器学习与深度学习在神经反馈系统的应用也主要集中于这一模块，但并不常用，主要原因是这一模块对算法实时性的要求很高。另外，如何量化大脑活动也是目前研究的热点和难点。

（4）实时生成反馈信号。神经反馈系统中的“反馈”一词对应于这一模块，这部分实现的功能是将提取出的特征信号转化为参与者能够学习处理的感觉信息。反馈信号指的是当前参与者的与目标活动相关的脑活动状态，当参与者通过调节脑活动使其达到特定阈值时，会通过反馈信号的变化来给予直观的感受。这个模块使参与者能够很及时地得到反馈，对后续自主对行为的调整有重要指导意义，同时使得强化学习理论的奖惩机制很好地融入系统中。

（5）学习者。这是神经反馈系统的主体，也是行为的发生者和奖惩系统的作用者。神经反馈系统的训练效果在很大程度上依赖于学习者的积极参与，学习者通过不断调整来促使脑活动朝着预期目标发展。神经反馈训练过程也是一大研究热点，由于是主动训练过程，在神经反馈过程中，个体差异不可避免，训练效果好的学习者在情绪状态、动机和对自身的控制上都具有共性。除了主动式神经反馈系统，还有被动式的。并不是所有的神经反馈训练系统都能得到理想的训练效果，有些大脑活动的目标方向会让学习者找不到合适的调整方向，这是由于我们对大脑的认识还处于很浅显的阶段，所以需要通过外加刺激装置激活目标大脑，以被动的方式来达到神经反馈训练的目标。