柯克四层评估模型
在本研究中,对于住院医师规范化培训(简称规培)的结果评估部分,采用柯克四层评估模型(Kirkpatrick's four-level model of evaluation)作为理论基础,完成该部分的问卷设计和相关评估。
1.柯克模型的内容
所谓培训效果评估,是指通过收集相关方案,对组织资料进行修改,确保机构在培训前、中、后获得相关行为的资料数据。有学者提出,培训效果评估是一个系统的决策过程,被用来确定该培训的价值和意义,并对培训的未来应用进行预测分析[3]。
柯克四层评估模型(以下简称柯克模型)是由美国威斯康星大学Kirkpatrick于1959年提出的,风靡半个多世纪,是目前被广泛应用于培训效果评估的经典模型。根据评估的深度和难度,柯克模型分为4个层级的评估:反应(reaction)、学习(learning)、行为(behavior)、结果(results)。
反应层评估主要是衡量学生对培训项目的反应,了解学员对培训内容、培训师资水平、培训设施等的评价,以及自己从培训中得到的收益。这个层次的评估可以作为改进培训内容、培训方式、教学进度等方面的建议或综合评估的参考,但不能作为评估的结果。
学习层评估是衡量学员在通过培训后,多大程度上实现了知识、技能或者态度的转变。当然,并不是所有培训都会同时引起这3个方面的变化,视培训类型和培训的目标而定。
行为层评估是衡量学员参加培训项目后,回到工作岗位,多大程度上可以实现知识迁移,达到行为转变。行为的评估要比前两个层面困难得多,因为学员是否发生行为的改变受到更多因素的影响,即使学员在第二层级的评估中获得较好的成绩,却并不能保证学员一定发生行为的改变。
结果层评估是衡量培训的最终效果,对组织绩效的影响。它的衡量指标包括:产量的增加,质量的提高,劳动生产率的提高,士气的提高,成本的降低,事故的减少等。这是培训效果评估中最困难的部分[4]。
这种层级的划分依据行为学的研究结果,由表及里,由观念到行为,直至最终结果的变化,层次分明,评估循序渐进,从个人素质能力的提高评估上升到组织绩效的改善评估[5]。
2.柯克模型的运用
柯克模型最初被运用于企业人力资源管理的培训效果评估,包括房地产企业、酒店服务业、保险业等[6~9],主要用于对人才培训的各个环节进行评估,包括需求调研、课程开发、培训实施等,同时对于培训过程中存在的问题进行总结。林琪琪等(2017)基于柯克模型对农民工的短期培训开发了效果评估指标,并对培训的相关影响因素进行研究[10]。冯园等(2016)基于柯克模型开发了应急预案培训效果评估指标体系,该指标体系包括4个一级指标(即4个层次)和17个二级指标。之后研究者通过模糊层次分析法及专家咨询确定各级指标的权重,并在此基础上对培训效果进行了综合评估[11]。
近年来,柯克模型逐渐被运用于教育领域,用来评估教学效果。李莉萍(2011)等基于柯克模型构建了农村教师继续教育评价体系[12]。熊素娟(2017)借鉴柯克模型构建了混合式教学模式评价体系基本框架,并提出了评估中需要注意的问题[13]。
在卫生领域,柯克模型也被用于医护人员培训的效果评估。例如,周策等(2010)将柯克模型运用于全科医师岗位培训效果评估[14]。黄艳等(2012)运用柯克模型评估儿科试用期护士培训的效果[15]。徐宏坤等(2016)以柯克模型为导向,构建手术室低年资护士核心能力培训评价指标体系,并根据专家咨询法和层次分析法以及百分权重法确立各指标权重,且进行综合评估[16]。有学者总结,柯克模型评估医护人员在职培训效果,主要包括两种形式:一种是以柯克模型为指导建立培训效果的评估机制;另一种就是应用柯克模型作为理论框架,构建适合本学科现况的评估指标体系[17]。
3.柯克模型的不足及改良
由于柯克模型仍然存在一定的局限性,学者们也在不断探索和尝试对该模型进行改良和完善。
(1)柯克模型的关注点在于对培训或教育结果的评估,忽视了培训或教育过程中的相关影响因素,如培训者的个人因素、对培训项目的接受程度和满意度等。事实上,重视过程才能更好地推进培训项目,达到培训目的。
因此,有学者尝试将柯克模型与决策导向型评价(即Contextural-Input-Process-Product,CIPP模型)进行结合,从培训开始前到结束的全过程进行管理和评估。例如,饶艳华等(2010)根据柯克模型与CIPP模型,构建我国社区护士岗位培训的培训前—中—后评估模型[18]。培训前评估,即CIPP模型的背景和投入层次;培训过程评估,即CIPP模型的过程层次;培训后评估,即柯式模型的4个层次(CIPP模型产出评估的具体化)。之后,国内学者开始效仿此模型。例如,孟晓晖等(2015)将柯克模型与CIPP模型结合,评估临床药师的培训效果[19]。鲜敏等(2016)将柯克模型与CIPP模型结合,评估健康教育人员专业化培训的效果[20]。
(2)柯克模型存在层次缺陷,没有形成完整的理论循环。从评估的深度和难度来看,4个层次是从简到难的过程,但是一般而言,培训项目只是在第一、二层次,很难做到第三、四层次的评估,即无法跟踪员工接受培训后在工作岗位上的行为改变(第三层次,行为层)和对所在机构带来的效益、效果等的变化(第四层次,结果层)。此外,4个层面的评估没有形成一个综合评价结果,也缺乏对评估结果的反馈环节。
因此,有学者提出了第五层次的传递层面[21]。所谓的“传递层面”是指,在对培训的成本效益通过科学方法全面计算之后,从更为经济化的角度来科学决策该培训工作的持续与否。如果成本小于收益,培训评估后效益良好,则继续该培训行为,从第一层面继续循环;如果成本大于收益,培训评估显示效益较差,则可以终止该培训行为,循环结束。针对柯克评估模型第五层面存在必要性的分析主要分为两个层面:概念层面和内涵层面。概念层面分析主要指从模型的基本含义和框架结构的完整性分析,确保该理论形成一个完整的理论链条;内涵层面分析主要指从柯克评估模型第五层面的补充对整个模型对实际应用分析的作用,以证明模型的理论意义和实践意义高度契合。不过,文献综述结果显示,未见有学者对此“第五层面”进行定量或定性的实证研究。