2.5 实验法短评
如上所述，由于技术和实验环境的限制，上述方法往往只能反映有限数量的被试在某些方面的认知过程。在未来研究中，我们还要进一步找出翻译过程的共性，尤其是专家译者共同的认知策略和认知过程，注重翻译任务的难度平衡、任务指派和被试身份的可比性以及实验的可重复性等（O'Brien 2011）。行为测量法和生理测量法都受到实验环境（包括实验设备、地点和技术支持的可及性等）、被试招募、实验设计等各方面因素的影响，面临可比性和可相互参照性问题以及生态效度问题等挑战。
首先是实验的可比性和可相互参照性问题。Muñoz Martin（2010b）指出，翻译过程研究中的一些问题与研究设计的性质有关。在研究焦点、研究报告、生态效度、被试分类、源文本和数据解释方面，翻译过程研究项目之间仍然存在巨大差异，方法论的进步与数据收集技术的改进不相匹配。实验的可比性和可相互参照性问题使目前的各种研究无法相互联系起来，只能保持一种不能相互联系，也不能相互依赖的平行尝试状态。
Saldanha & O'Brien（2014）指出，不论是定性还是定量方法，为保证研究的信度和效度，必须有科学的被试抽样方法和足够的样本量；目前的翻译过程实验研究由于提取数据过程的复杂性和在选择被试上的限制，被试数量往往低于统计学标准7。O'Brien（2011：11）指出，翻译过程研究一般表现出较大的个体差异。她同意Hansen（2010b）提出的观点，即应该在可量化的数据之外寻求证据，并试图进行有关译者“生活故事”的翻译过程研究。House（2015：53）则反对这种观点，认为这会将我们引向个体化的翻译研究。在Muñoz Martin（2010b）看来，就被试而言，控制组是必需的；但我们需要引入一些其他的注意事项，以减少系统性偏见，提高内部效度。翻译研究很难随机选择被试，而且实验组和控制组的随机分配在许多研究中也不可行；理想情况下，应该找到一种方法来补充关于被试数据的可靠指标，以区分相关变量的差异，以便筛选被试，而后通过考虑被试的相关特征来完善数据分析，在同一实验内比较或与其他无关实验比较，并用时间、切分和递归测量等硬过程数据对它们进行三角测量。为了增强被试的可比性，Muñoz Martin（2010b）试图引入韦氏成人智力量表（WAIS）和托福，以核查这些测试对翻译技能的区分能力。其研究结果显示，“这些测试对于筛选出非常规被试，以及根据与TPR相关参数区分和排列常规被试都是有用的”（Muñoz Martin 2010b：87）。Tirkkonen-Condit（2012）也对此提出了质疑，认为没有单一的被试分析方法可以满足所有的翻译过程研究。Extremera（2015）指出，文化问题也是被试分析的重要部分，但在翻译过程研究中却往往被忽视了。有些研究将文化直接等同于学术训练和文化背景，并作为被试分析的一个参数，而许多其他的研究工作则对文化持不同的认识，将其等同于知识、学术培训、专业经验以及几种不同特征的组合。
Muñoz Martin（2010b）指出，许多翻译过程研究属于预实验设计（包括案例研究、单组前测／后测和静态组比较）的范畴。案例研究往往过早认定因果关系，因而可靠性最低；前测／后测设计提供了变化的测量，但是没有将控制组与实验组进行比较，所以结论可能有偏差，不能确定实验操纵是否导致了被试之间的差异；静态组比较往往不能看清被试的预实验条件，而小组内的所谓相似性（如翻译学生与专业翻译人员）会弱化有关差异的推断。Alves（2015：18）认为，在应用于翻译过程研究中时，大多数研究方法和工具仍需进行先期的可行性试验并加以论证，以确保数据和结果的可信度；此外，实验设计和研究的可复制性也有待加强。
实验方法面临的另一个挑战是生态效度问题。
Jakobsen（2014）指出，在实验室条件下进行实验研究具有巨大的优势，研究者可以对参与者的招募、实验任务和条件、可用资源、观测和记录工具等变量进行控制，数据的获取和收集也更简单。但是，参与者在实验环境中的表现与他／她在现实生活中的表现可能有所不同。比如，实验中一般不允许使用字典、网络等外界辅助工具，这种与现实工作场景的差异必然也会影响实验的生态效度。
实验环境下的翻译材料（即实验设计中的刺激源）与现实工作场景也有所不同。实验设计中，研究者倾向于采用比较短的文本材料8。此外，实验环境中作为刺激源的文本材料所涉及的话题非常有限，而现实中译者所处理的翻译材料通常都较长，涉及的话题或题材也呈现出多样性。
Jakobsen（2014）指出，虽然翻译过程研究中有很多推测和反思，但其理想始终是诉诸从现实翻译情景中获得的经验数据，这是它的第一性假设。迄今为止，大多数翻译过程研究都是以在实验室中模拟真实的翻译状况的形式进行的。但是，将实验室环境中的发现用于预测个体的现实行为很难实现，毕竟实验室环境对不同的个体参与者的表现会产生不同的影响。
Saldanha & O'Brien（2014）指出，当我们声称研究译者或翻译过程时，生态效度是最迫切的要求。如果我们想研究专业译员进行会议口译的过程，在课堂上对学生译员进行实验的生态效度就非常低。设计并开展具有高生态效度的研究有一定的挑战性。例如，如果要研究会议口译的某些方面，理想的情况是在会议口译室进行实验，以使生态效度最大化。我们要努力提高生态效度，从而提高研究的质量和可信度。
House（2015：50-51）还对上述研究方法的言语认知研究价值提出了质疑：（1）对于可观察性行为的测量能否反映译者大脑中所发生的认知过程？（2）对于可观察性行为的测量能否揭示两种语言认知再现的本质？能否揭示翻译操作中译者的元语言和语际知识？能否反映理解、转换和重构过程？House本人的回答是：并非如此。
关于第一点，她指出所有实验研究都必须面对效度的问题。虽然生态效度未必会影响研究的整体效度，但是如果实验中的人为控制成分过多或者与真实的情形相去甚远，也会对研究有一定的影响。而诸如摄像记录和眼动跟踪之类的硬数据方法，显然会在译者的翻译过程中植入与真实情形不同的成分，尤其是眼动跟踪法往往要求译者保持头部的稳定，不能随意变动姿势，这种不适感以及需要特别留意头部动作的压力也会影响译者的正常翻译过程9。她认为，此类行为实验能够测量和实际测量的仅仅是译者可观察的行为，不能等同于译者大脑中的认知过程，所得到的结论充其量只能说是关于译者大脑中认知过程的有趣假设。注视次数、凝视时间、停顿时间、自我纠正这些指标在击键记录和眼动跟踪研究中可能会反映某些翻译难点和与其相关的决策过程，但并不能作为翻译神经基底的明确证据，即便是某些神经网络X的参与也不能告诉我们哪些认知过程与神经网络X相关联。因此，认知过程与潜在的神经基础之间的关联仍然不明确。目前的神经成像研究仍然存在争议，功能性磁共振成像、正电子成像和事件相关电位成像研究大都局限于句级以下的、孤立的语言单位，任务过于人工化，而翻译研究倾向于关注更大的、更模糊的、更不可控的单位。
关于第二点，House援引Paradis（2009：157-160）的观点指出，自然语言的使用和启动语言的使用大不相同，利用启动语言进行的任务无法激活维持自然语言使用的自动化过程，包括语用特征和有关的神经活动。启动任务中的词语和自然语言使用中的词语所激活的记忆类型不同，前者是陈述记忆（declarative memory），后者除了陈述记忆之外，还包括程序记忆（procedural memory），并且还会激活与加工话语的语用方面紧密相关的右脑活动区域。
我们认为，认知翻译学不能忽视翻译认知加工首先是言语认知加工这一基本点，翻译认知研究应该考虑言语认知加工的更多方面和层次，尤其是高层次和综合性的言语认知加工和元认知程序加工；此外，翻译认知研究还应更多地考察翻译所涉及的两种语言对的距离和文化对的距离，如此才能提出更有价值、更能反映翻译过程生态现实的问题。大量基于眼动跟踪和脑电技术的翻译过程研究使用了简单的二元对立的实验设计，近年来较为热门的话题有隐喻表达与非隐喻表达、规约隐喻表达与创新隐喻表达、形式为基础的加工路径与意义为基础的加工路径、习语表达与非习语表达等。这种二元对立的设计有利于实验的开展，也有利于产出明晰的实验结果，但是本质上都对言语认知加工的问题做了简单化处理。另外，这种研究能否真正反映动态复杂的翻译过程也值得怀疑。一些实验研究中隐含了预先认定的因果关系，甚至有循环论证的嫌疑，如将翻译能力作为变量考察其对隐喻翻译的影响，但却忽略了隐喻翻译能力也是翻译能力的一部分这一事实。因此，在设计实验之前，研究者要基于理论研究对语言现象和翻译能力的构成作更加全面、生态的描述，提出具有明确的理论旨归且真正符合译者心理现实性的问题。如汉学家、译者白亚仁所述，一些直白的非隐喻表达会给翻译带来很大困难，而这在研究中往往是被忽视的。