3.2.1 英国卓越框架(REF)
英国高校早期的科研评价由科研评价活动小组(Research Assessment Exercise,RAE)组织开展。由于RAE建立在同行评价的基础上,受其主观性的影响,越有名的机构越容易在科研评价中获得较高评分和更多的资助,由此产生马太效应,使强者越强、弱者越弱,非常不利于新兴大学的发展。因此,英国高等教育基金委员会在2008年后决定采用新的科研评价体系——研究卓越框架(the Research Excellence Framework,REF)。
REF评价按照学科类别共设4个主专家组,负责制定各组的具体评价标准和操作细则。4个主专家组下设34个子专家组,对参评高校提交的资料进行独立评价,确保遵守已发布的程序,并签署评价结果。主专家组和子专家组的成员由4个英国资助机构通过公开提名程序任命,均是具有从事、管理和评价高质量研究经验的个人及来自公立、私立、第三方机构的参与研究影响评价的高水平专家。
REF科研评价体系包括“科研成果”“科研影响”和“科研环境”三个部分。
1.科研成果
“科研成果”占评估权重的60%,是衡量科研质量的主要因素。评估小组主要从原创性、重要性和严谨性三个方面对科研产出的质量进行评估。原创性是成果产出对该领域做出重要和创新贡献的程度。证明原创性的研究成果可以是:产生和解释新的经验发现或新材料,处理新的或复杂的问题;开发创新的研究方法和分析技术,展现想象力和创造力的研究成果,提供新的论点、解释或见解等。重要性是成果产出有能力影响知识和学术思想。严谨性是成果产出展示了知识的连贯性和完整性,并采用了科学合理的概念、来源、分析方法和理论。
2.科研影响
“科研影响”占评估权重的25%,评价研究成果对经济、社会和文化产生的“影响范围”和“重要性”。其中,“影响范围”将根据潜在受众范围来进行评价,不会单纯只根据影响发生的地理位置或受益者的绝对人数。“重要性”体现在多大程度上促成、丰富、影响或改变了受益人的业绩、政策、做法、产品、服务、理解、意识等。
影响可以通过多种方式表现出来,包括但不限于:多种类型的受益者(个人、组织、社区、行业、地区和其他实体),对产品、过程、行为、政策、实践和理解的影响,避免最广泛意义上的伤害或资源浪费。例如,一种新药可以产生健康和经济影响,一种新能源技术可以产生环境和经济影响,一个新的展览或表演可以产生文化、经济和社会效益。
3.科研环境
“科研环境”占评价权重的15%,主要从“活力”和“可持续性”角度评估科研资源、科研管理和科研业务。其中,“活力”代表参评单位能够在多大程度上支持所有科研人员和学生开展国际交流与合作,并能吸引优秀的研究生和博士后研究人员。“可持续性”是科研环境在多大程度上确保了参评单位未来工作的健康发展,包括对人员和基础设施的投资等。
4.评价方法与评价特点
REF评估体系采用定性和定量相结合的评价方法,即专家评议为主、文献计量评价为辅。同时,REF的评估均以学科为基本单元,对于不同学科,REF根据其学科特点采取灵活的评价方法。例如,REF认为引用数据在可行和适当的情况下,可以被视为研究成果学术意义的指标,但这只是同行评审对产出质量判断的一个参考,而不会作为评价的主要依据,并且在某些学科中,引用数据并不一定是可靠的指标。具体来说,专家组A(医学类)中的所有子学科会适当地将引用数据作为测度学术质量的指标;专家组B(理工类)中的地球系统和环境科学、化学、物理学、计算机科学和信息学等4个子学科认为引用数据可以较好地体现学术质量,会利用引用数据评价科研产出,但数学和工程2个子学科则不会利用任何引用数据;专家组C(社会科学类)和D(人文学科)中,只有经济学和计量经济学2个子学科会在合适的情况下将引用数据作为科研产出质量的参考,其他子学科均不会使用引用数据。又如,针对“科研环境”指标,REF下设了单位背景、人员、收入和基础设施、贡献等4个二级指标,主专家组A、B、C3个学科对这4个二级指标均赋予相同的权重系数,主专家组D则认为人员的重要性较大,从而赋予较大的权重系数。