6.1.3　多模态神经影像的数据融合

多模态数据分析方法通常的目的是在对不同模态数据的联合分析中实现高度整合。这里就可能有对称数据和非对称数据融合的区别。在非对称数据融合中，来自一个模态的信息相比另一个模态的不确定性减小，如将从一个模态提取的信息视作另一模态的原因或限制条件，EEG或MEG源定位受限于fMRI的对比图，或者使用EEG的时频功率作为fMRI广义线性模型的预测值。在对称数据融合中，所有的模态都被平等对待，应适当考虑其空间和时间分辨率、它们和神经元活动之间的间接关系以及这种关系的不确定性。在MR和PET同时采集的过程中（如肿瘤成像），对PET扫描得到的代谢和分子影像数据与MRI扫描得到的软组织对比（T1或T2加权，MRS和弥散MRI）的结构信息进行融合。反过来，对称数据融合方法可以分成假设驱动的方法（通常以一个模型为背景，又称模型驱动）和数据驱动的方法，如独立成分分析，该方法是盲源分离方法的一种。

模型驱动的对称数据融合可以通过生成模型反演实现，该方法可以包含不同模态的生理学和时空的互补。生成模型是一种动态模型，可以从生物和物理角度描述从神经元活动到观测到的数据的前向因果链（图6.1）。这个模型可以包含多个与神经元和血管过程相关的变量。例如，EEG和锥体突触后电位的净初级电流密度，以及BOLD fMRI和突触前后电位激发的神经血管耦合介质。如果将多个生成模型结合，可以从相同模型的神经元活动中生成（或仿真）多模态数据，这个模型的逆过程（如通过估计参数进行识别）即模型驱动的多模态数据融合。在模型驱动的融合过程中，EEG和MEG呈现给我们一个不适定的空间反卷积问题，fMRI则呈现给我们一个欠定的时间反卷积问题。基于模型的对称数据融合旨在采用另一个模态的信息限制逆问题，并且成像模态在生理敏感性方面有所不同，如EEG或MEG主要反映神经元同步活动，而fMRI则对血液动力学变化敏感。

图6.1　不同功能成像模态对应生理学过程的特异性（摘自Uluda，K.，et al.2014［1］）

左侧：方框内是一些与神经元活动相关的过程。
右侧：神经元活动后的电磁、受体活动、代谢和血液动力学过程。功能神经影像模态用虚线框显示。