大学评价研究综述
(一)大学评价理论方面
1.国外
大学排名指标体系、大学排名影响是国外学者研究的重要内容和方向。首先,大学排名影响研究围绕大学排名对大学、学生、资金募集及政府的影响展开。Jamil Salmi[8](2007)在对多个国家的大学排名进行比较分析的基础上,指出大学排名应当有益于大学、政府、学生、家长和公众,并提出了相应的改进建议;Ellen Hazelkorn[9](2008)指出,尽管大学排名会因方法缺陷被很多人抵制,但是它不会因为这些缺陷而被忽视,相反,大学排名己成为政府制定政策和学校制定战略的重要参考,并加速了高等教育的改革进程。关于大学排名的影响研究将在本章第二节做详细论述。
其次,大学排名指标体系研究主要围绕大学排名的指标设计、权重分配、数据选择等方面展开,且以实证研究为主。Grewal R.(2007)采用Logit模型权衡了US News不同指标体系对排名的影响,得出校友捐资对排名影响最小,毕业率对排名影响最大;StolzI等[10](2010)以高等教育机构排名的柏林原则为基准,从评价方法、透明性、消费者的友好性三个维度对欧洲25个大学排名进行了评价;M.H.Huang[11](2012)深度讨论了QS排名体系的指标设计和权重设置存在的问题。
2.国内
大学评价的研究涉及面较广、研究较深入且研究国际化趋势日益明显。目前国内研究主要集中在国内与国外大学评价的特征与比较研究、大学评价的态度与应用研究、大学评价的科学性研究以及大学评价与“双一流”的关系研究等方面。
首先,国内与国外大学评价的特征与比较研究主要围绕国内与国外大学评价特征介绍、中外大学评价比较等方面展开。第一,特征介绍方面,郭立强[12](2018)在对印度尼西亚大学排名系统介绍的基础上,分析其排名指标与排名运作的特点,并提出其在发展性评估理念、标准化评估工具、全员式结果共享的模式上的借鉴意义;第二,比较方面,杨天平等[13](2014)选取国内外12个大学排名指标体系作为研究对象,通过比较各大学排名指标体系,寻求其共性与个性特征,探讨大学评价指标发展趋势;赵蓉英等[14](2015)通过阐述四个主要的世界大学排名方法,从指标体系设计理念、内容涵盖度和排行榜稳定性三个维度对其进行详细对比,并对它们的差异性和稳定性进行比较分析;曾志嵘等[15](2019)通过国内外10个大学排名的价值取向比较研究发现,大学排名以各自特定的价值理念影响着各利益相关方对高校办学水平与质量的判断。
其次,大学评价自出现之日起就热议不断,学者围绕对其的态度与如何应用展开研究。赵锋等[16](2016)在对大学排名招致批判的原因以及存在的必然性进行分析的基础上,提出大学排名的发展之策;方泽强[17](2016)认为对大学排名持守望与超越的理性态度才是应为之道;林建华[18](2018)认为尽管大学排名有诸多问题和局限性,但的确为我们提供了很多大学发展状态的信息,如使用得当,是可以帮助我们发现问题的,需理性认识大学排名的作用。
再次,伴随大学评价种类的增多,评价的对象、内容以及方式趋向多元,大学评价的适用范围受到质疑,产生了关于大学评价的科学性研究。大学排名结果的可信度在很大程度上取决于大学排行的指标体系设计是否合理,学界从大学排名指标体系的指标选取、权重设置、评分标准、存在问题以及如何完善等角度展开研究的学者数不胜数。方卫东等[19](2009)通过分析大学评价中线性加权的不足,利用效用理论,以“院士人数”指标为例,把指标中人数得分改进为效用得分,用边际效用递减规律推导出非线性的效用函数。在此基础上,考虑规模效益,进一步引入阻滞增长(Logistic)模型;申超[20](2011)通过分析世界及中国主要大学排行榜的指标体系及其排名方法,发现大学排行中普遍存在如指标体系设计、数据的可得性、评价的影响因素、评价行为的监督等方面的问题,为此提出相关的发展建议;汤建民[21](2016)提出衡量一个大学排行榜科学性和公信力的三个主要标准为:一是考察其评价指标体系是否公开,原始数据是否公开,或是能在多大程度上满足这种要求。二是考察其评价指标体系的科学性究竟如何。三是考察其历年排行榜制作活动过程的一致性程度;韩飞舟[22](2016)认为,目前的多数研究没有正确认识和辩证处理大学的可排名性与复杂性之间的矛盾,使大学排行榜落入指标陷阱。大学排行榜实施的根本前提是依据大学职能定位的大学分类,而且大学排行榜只能是其价值观的体现,需要公布明确的使用目的和使用说明,在此前提下探索大学排行榜的合理指标结构;赵晓冬等[23](2016)将数据统计与实证研究相结合,以“研究生培养评价”为例,对大学排名及其研究进行分析检验;田虎伟等[24](2019)以16项柏林原则为基准,以武书连榜、校友会榜、邱均平榜、软科榜的相关排名方法资料为比较分析对象,逐项对照、分析比较,给予五级等距吻合度评判。
最后,“双一流”建设已进入正式实施阶段,大学评价与“双一流”的关系研究逐渐成为研究热点。岳文娟等[25](2019)在客观分析世界大学评价体系的优点与局限性基础上,提出我国建设世界一流大学应该以学科为基础,强化大学职能,坚持特色发展,增强文化自信;赵国栋等[26](2019)选取了ARWU、THE、QS、RCCSE、USNWR五个国内外具有较高知名度的评价体系,通过消解一级指标中各评价体系的价值偏好,运用比较二级指标中的指标权重和全球可比指标权重的方法进行分析,提出世界一流大学评价指标体系改进建议以及中国建设世界一流大学的启示;宫新栋等[27](2019)梳理了国内外大学评价的发展历程及特点,从评价目标、评价类型和评价方法三个维度比较分析国内外大学评价体系的差异,归纳总结现阶段大学评价存在的主要问题,并阐述了完善学科建设评价工作的一系列对策。
(二)大学评价实践方面
1.世界大学评价体系
早在20世纪80年代,世界各国就已经致力于大学排名的实践。1983年,《美国新闻与世界报道》对外公布了全球第一份大学排名,引起世界各国媒体、教育机构的极大关注,其他国家的新闻媒体紧随其后,以民间机构的名义发布了各种各样的大学排名,大学排名的潮流立刻风靡全球。世界大学评价体系较多,目前影响力较大的主要有:上海软科世界大学学术排名(Academic Ranking of World Universities,简称ARWU)、《泰晤士高等教育》THE世界大学排名(The Times Higher Education World University Rankings,简称THE)、英国QS公司世界大学排名(QS World University Rankings,简称QS)和《美国新闻与世界报道》US News世界大学排名(US News Best Global Universities,简称US News)。这四个大学评价体系各有显著的特点,且较为科学和具有较高的公信力。
(1)《美国新闻与世界报道》US News世界大学排名。《美国新闻与世界报道》是一家新闻媒体机构,成立于1933年,并于1983年开始进行大学排名。其曾于2009年与QS公司、英国《周日时报》、韩国《朝鲜日报》合作,研发了世界大学排名;2014年10月28日,首次独立推出全球大学排名,兼具学术声誉与科研实力评价,并强调卓越性科研成果的重要性。此外,还推出了基于22个学科的全球大学学科排名,学科类型分为艺术与人文、软科学与硬科学。US News最早的服务对象是给学生和家长提供选择大学的信息依据,此后在保留了这个功能的基础上,又逐步成为政府、雇主、大学和社会制定政策、了解大学发展状况的重要参考。其指标体系所采用的数据资料主要有主观和客观两个部分:主观数据主要是有关大学声誉调查的数据,客观数据主要由各院校自己提供,然后由专人对照学院委员会联合会等的调查,对统计结果加以补充、修正。近些年的排名指标中,客观指标的权重在逐渐加大,主观指标的权重在逐步降低。
(2)《泰晤士高等教育》THE世界大学排名。《泰晤士高等教育》的前身为《泰晤士报高等教育增刊》,2008年1月,《泰晤士报高等教育增刊》更名为《泰晤士高等教育》,以杂志的形式重新出版。2004年,《泰晤士报高等教育增刊》与英国QS公司共同发布了世界大学排名;2009年10月,因理念不同,《泰晤士高等教育》与英国QS公司终止合作,与汤森路透社签署合作协议,并于2010年9月发布了第一个世界大学排名。此外,《泰晤士高等教育》还推出了基于学科的世界大学学科排名、亚洲大学排名、新兴经济体大学排名和年轻大学排名等多种类型的大学排名。THE的主要目的是帮助各个国家、地区的学生甄别出不同大学之间的差异,进而从中选择更适合自己的大学。其数据资料主要有主观和客观两个部分,指标体系的特点为:一是注重全面系统地反映大学的整体实力。指标体系涵盖教育教学、学术声誉、科研影响力、国际化等诸多方面,从多角度评价大学实力;二是侧重大学科研实力和声誉考察。科研竞争力与科研影响力两项一级指标均分别设置30%的权重,共占60%,足见对高校科学研究的重视。科研影响力主要采用文章被引频次指标评价。在THE的二级指标中,科研声誉调查和教育教学声誉调查的权重分别占18%和15%,由此可见THE对大学声誉的重视。
(3)英国QS公司世界大学排名。成立于1990年的英国QS公司是一家从事学生留学、升学、就业的高等教育公司。2004—2009年,QS与《泰晤士高等教育》合作推出世界大学排名;2010年,QS公司改与《美国新闻与世界报道》、英国《周日时报》、韩国《朝鲜日报》合作,研发了QS世界大学排名,也是唯一一个获得联合国教科文组织(IREG)国际专家认证的排行榜。QS还推出了基于48个学科的世界大学学科排名。QS指标体系的特点:一是体现主、客观指标的均衡性。其指标设置中既包含了隐性指标的定性评价,又涵盖了显性指标的定量评价,并且各占50%的权重。学术声誉和雇主声誉等主观定性指标解决了一些因素不可量化的问题;二是强调办学质量。由于师生比在一定程度上体现了教育投入,可以有效保证教学质量,QS认为小班教学有利于每位学生都受到足够的重视与关注,从而有更多与教师交流与讨论的机会,所以QS在教学方面对师生比赋予了较高权重,为20%。
(4)上海软科世界大学学术排名。上海软科教育信息咨询有限公司(简称“上海软科”)成立于2009年,是一家从事国际教育信息的研究开发与咨询服务的专业化企业,其推出的世界大学学术排名(ARWU)是全球最具影响力和权威性的大学排名之一。ARWU最早于2003年6月由上海交通大学“世界一流大学研究中心”发布,也是全球首先公开发布世界大学排名的机构,主要针对综合性大学尤其是理科和工科大学的科研成果和学术能力进行评价。2009年起,ARWU由上海软科承接。其世界大学排名主要包含世界大学学术排名、世界大学学科领域排名(共分为理科、工科、生命、医科和社科五大学科领域)、世界一流学科排名(共覆盖54个学科)。ARWU建立的最初目的是数据化呈现中国大学与世界一流大学间的距离(尤其是科研差距),客观呈现中国大学在国际大学体系中的位次,目前主要作为政府、大学、国际间留学人员了解中国大学办学水平的窗口,并成为政府和高校制定政策的重要参考,引导中国大学向世界一流大学看齐。ARWU指标体系的特点:一是排名体系中所有的数据都来自第三方,数据完全是客观、可复制、可检验的定量指标;二是注重世界顶尖教育科研成果。通过教育质量和科研成果两项一级指标,以及获得诺贝尔科学奖和菲尔兹奖的校友折合数、在《Nature》和《Science》上发表论文的折合数、被SCIE与SSCI收录的论文数量三项二级指标可以看出,ARWU尤为重视世界顶尖教育科研成果;三是注重大学的国际竞争力。ARWU建立的最初目的是数据化呈现中国大学与世界一流大学间的距离(尤其是科研差距),客观呈现中国大学在国际大学体系中的位次。
表1-1 世界四大排名评价指标体系及权重

(续表)

2.中国大学评价体系
1987年9月,中国管理科学研究院以美国费城科学情报研究所公布的《科学引文索引》(SCI)为指标对我国87所重点大学进行了排名,这个大学排名虽然只有一个单项指标,但却是我国第一个严格意义的大学社会评价,具有划时代的意义。目前,国内知名度和影响力较高的大学评价体系主要有五个。
(1)教育部学科评估。学科评估是教育部学位与研究生教育发展中心(简称“学位中心”)按照国务院学位委员会和教育部颁布的《学位授予与人才培养学科目录》(简称“学科目录”)对全国具有博士或硕士学位授予权的一级学科开展整体水平评估。它是学位中心以第三方方式开展的非行政性、服务性评估项目。其优势在于使不同的学校进行同类学科的比较,可比性强,可信度高。学科评估平均四年开展一次,坚持“自愿申请、免费参评”原则,各单位具有博士或硕士学位授予权的一级学科(含一级学科和二级学科授权),均可申请参评。自2002年以来学位中心对具有研究生培养和学位授予资格的一级学科进行整体水平评估,截至2017年共完成了四轮,参加的高校一次比一次多。第一轮评估于2002—2004年分3次进行(每次评估部分学科),第二轮评估于2006—2008年分2次进行,第三轮评估于2012年进行。第四轮学科评估于2016年4月启动,评估指标体系保持“师资队伍与资源”“人才培养质量”“科学研究水平”“社会服务与学科声誉”四个一级指标框架基本不变,共设置人文、社科、理工、农学、医学、管理、艺术、建筑、体育9套指标体系框架,每个一级学科设置不同的权重;评估数据以“公共数据和单位填报相结合”的方式获取;评估结果按“分档”方式呈现(详见表1-2)。评估结果为参评单位了解学科优势与不足、促进学科内涵建设、提高研究生培养质量提供了客观信息,为学生选报学科、专业提供了参考,同时也便于社会各界了解我国高校和科研单位学科内涵建设的状况和成效。该评估在媒体、学界、社会公众中产生了重要影响,成为我国系统组织并具权威性的学科评估活动。
表1-2 教育部学位中心四轮学科评估概况

(续表)

注:根据中国学位与研究生教育信息网资料整理而成。
(2)中管院评价体系。中国管理科学研究院(简称“中管院”)是我国最早开展大学排名的机构,早在20世纪90年代初就开始对国内大学排名进行实践探索。1991年中管院《中国大学评价》课题组成立,由武书连牵头组织并负责。
1993年,课题组组长武书连等人在《广东科技报》上发表了《中国大学评价—1991研究与发展》,这是国内第一个以目标评价、定量评价为核心,对中国大学进行综合评价的大学排行榜。此次评价共涉及25项指标,其指标权重由全国203名专家确定。这是国内首次使用较大规模专家群体给定的权重作为各项评价指标的系数,也是国内首个涵盖自然科学和人文社会科学在内的综合评价。1997至1999年,课题组连续三年在《科学学与科学技术管理》期刊发表中国大学排行榜;2000年,在国内首推体现高校基本职能的大学排行榜《中国大学评价1998》,评价体系设置依据也由以往的“投入产出”改为“大学对社会的贡献”;2010年武书连等人发表了《2010中国大学评价》一文,正式公开该机构对大学评价的指标体系,且标出了评价的结构图以及公式与指标赋值,之后每年对三级指标进行修改,一直沿用至今。截至2019年,该机构已连续24年发布中国大学排行榜。
《2018中国大学评价》以《中国高等教育法》为依据,设置了三级指标体系,一级指标2个:人才培养(63.06%)和科学研究(36.94%);二级指标有4个:本科生培养(43.68%)、研究生培养(19.38%)、自然科学研究(25.17%)和社会科学研究(11.77%);三级指标包括本科毕业生就业率、教师平均学术水平、研究生科研成果和国内引文数据库论文及引用等共计47项指标。
中管院评价体系的特点在于其指标体系完全透明且可重复。为了实现对理工农医文史等不同类型大学可以直接进行比较的目的,武书连提出一个基本假设:不同学科的研究人员平均具有相同的科研创新能力。正是基于上述基本假设,实现了不同类型大学之间的可比性。
表1-3 中管院2018中国大学评价体系(单位:%)

(续表)

(续表)

(3)艾瑞深中国校友会网评价体系。艾瑞深中国校友会网大学评价研究团队最早起源于中国管理科学研究院高等院校比较研究课题组。1989年该课题组发表了《我国重点高等院校科学计量多项指标排序及其分析》一文,在学界引起较大反响;2001年11月,艾瑞深中国校友会网(cuaa.net)正式建立,并以此为平台,与国内多家新闻媒体合作开展中国大学评价研究工作;2002年,蔡言厚教授领导的高等院校比较研究课题组重组,中国校友会网大学研究团队成立,蔡言厚教授任该研究团队的首席专家;2003年,该机构首次发布“中国大学综合实力排行榜”。截至2019年,已连续17年发布中国大学排名。
艾瑞深中国校友会网《2018中国大学综合评价》设立了四级评价指标体系,一级指标有3个,分别为人才培养(52.06%)、科学研究(31.85%)和社会影响(16.09%);二级指标由教育教学(27.97%)、学科专业(10.88%)、杰出师资(13.21%)、科研成果(17.09%)、科研基地(6.99%)、科研项目(7.77%)、办学层次(1.17%)、社会声誉(10.49%)和国际影响(4.43%)等9项指标构成;三级指标包含教学水平(6.22%)、杰出校友(17.09%)、双创教育(3.11%)、德育教育(1.55%)、学科建设(6.99%)、专业建设(3.89%)、杰出师资(13.21%)、高端科研成果(17.09%)、科研创新基地(5.44%)、学术平台(1.55%)、基础科研项目(7.77%)、办学定位(1.17%)、社会/校友捐赠(6.22%)、生源质量(2.33%)、媒体影响(1.94%)和国际影响(4.43%)16项指标组成;四级指标由相关观测点组成。
艾瑞深中国校友会网2018年大学评价体系有以下特色:一是指标的设置更加突出校友、质量和影响,如社会影响一级指标占比为16.09%,杰出毕业生校友单项指标权重高达17.09%,这也是该评价体系区别于其他评价体系的最主要标志;二是指标的选取更加注重高端指标,放弃规模性指标。如高端科研成果单项指标权重高达17.09%,杰出师资指标权重达13.21%;三是以中国大学的人才产出和科学贡献为基准。
表1-4 艾瑞深中国校友会网2018中国大学评价体系(单位:%)

(4)中评榜评价体系。武汉大学中国科学评价研究中心(RCCSE)挂靠在武汉大学信息管理学院,中心负责人为国内计量学知名专家邱均平教授,该机构是我国高校中第一个综合性的科学评价研究中心。自2004年首次发布《中国大学及学科专业评价报告》(简称“中评榜”)起至今,已连续16年发布中国大学排行榜。该排行榜首次实现了分类评价,采用“综合+分类”评价方法,既有《中国本科院校竞争力总排名》,又将大学分为重点大学、一般大学、民办大学、独立学院和高职高专等五类,对每一类高校应用不同的评价指标体系单独排名。
以《2018中国重点大学竞争力排名》为例,该评价体系较为全面、系统,采用三级评价指标体系。一级指标由办学能力(15%)、科教产出(35%)、质量与水平(35%)、学校影响力(15%)四大指标构成;二级指标由教师队伍(4.5%)、教育经费(1.5%)、项目与平台(9%)、学生数量(7%)、学生获奖(10.5%)等13项指标构成;三级指标由杰出人才、研究生导师数、专任教师数、生师比等31个指标构成。
中评榜评价体系的特点是坚持分类评价、同类比较。以不同指标体系、不同权重、不同数据来源,对不同层次的大学分别进行评价,这也是其区别于国内其他大学评价体系的显著特征。
表1-5 中评榜2018中国重点大学评价体系(单位:%)

(续表)

(5)上海软科评价体系。为“客观呈现中国大学在整体实力和关键办学指标上的特点与差异,为挑选大学提供可靠参考”,2015年上海软科首次发布“中国最好大学”排名,随后每年初更新,截至2019年,该机构已连续发布5年中国大学排名。
2018年上海软科“中国最好大学排名”指标体系中,首次引入“社会捐赠收入(5%)”来衡量大学人才培养的社会声誉,同时将“培养结果”指标权重由15%降至10%。指标类别共分4类:人才培养(45%)、科学研究(40%)、服务社会(10%)、国际化(5%)。具体指标共有10项:生源质量(30%)、培养结果(10%)、社会声誉(5%)、顶尖人才(10%)、顶尖成果(10%)、科研规模(10%)、科研质量(10%)、科技服务(5%)、成果转化(5%)和学生国际化(5%)。每个具体指标仅采用一个观测数据进行测量。
上海软科“中国最好大学排名”的特点:一是指标的选取抛弃了政府部门主导评选的一些指标,如院士、长江学者、国家重点实验室、自然基金项目等,而是从大学服务对象(学生、企业、教师)的角度选取;二是体系透明度较高,对各项指标的原始数据、数据来源、统计方法等均予公布。
表1-6 上海软科2018中国最好大学排名评价体系(单位:%)

(续表)
