政府评价的指标设计、验证及权重分析
政府评价是为了控制体育学研究生教育的最低质量和标准，并了解一定时期全国体育学研究生教育质量的整体水平而采用的一种大规模、宏观层面的整体性评价。政府评价必须在全国范围内有一定的可操作性与可比性，因此在评价指标体系的设计上应更多强调体育学研究生教育的共性，强调国家和社会对体育学研究生教育的总体要求。评价指标的选择应该以政府关于研究生教育及体育学研究生教育的任务与培养目标的相关政策及法律法规（如《中华人民共和国学位条例》、《中华人民共和国高等教育法》等）为依据，全面兼顾社会需要和体育学研究生个人发展的需要，统一规划制定。因此，政府评价的指标体系应该尽量统一，具有较强的可比性和可操作性，当然也要考虑我国体育学研究生教育中地区发展不平衡的特点，适当注重灵活性，真正贯彻国家《关于做好新增博士、硕士学位授予单位工作的指导意见》中对各省（自治区、直辖市）新增单位工作实施分类管理的指导意见[15]。
（一）社会组织机构的鉴定
如前所述，按照测评对象的不同，政府评价主要包括学位授予单位评价、学位授予点和学科专业评价、重大决策评价、民间社会组织机构评价。对于体育学研究生民间、社会组织或机构鉴定的基本标准与指标选择，首先要遵照《民办非企业单位登记管理暂行条例》（1998年10月25日中华人民共和国国务院令第251号发布，自1998年10月25日起施行）、《社会团体登记管理条例》（1998年10月25日中华人民共和国国务院令第250号发布，自1998年10月25日起施行，2016年2月6日修改），以及《关于非营利组织免税资格认定管理有关问题的通知》（财税〔2014〕13号）中关于非盈利组织的基本条件，然后根据体育学研究生教育质量保障的学科专业需求来审核。
本研究参照孙进博士关于德国代理机构的认证标准，初步拟定了社会组织机构鉴定的4个一级指标即质量观与自我定位、结构和程序、独立性程度、资源保障以及12个二级指标（组织机构的质量观，组织机构的评定范围，具有明确的、约束力强的结构和程序，确保相关利益主体的参与，专业测评人员的保证，对测评合作方的资质保证，组织机构的性质，测评工作人员的特性，人员与物质保障，质量管理体系保障，申述程序保障，信息公开保障）的鉴定指标体系，然后通过对国务院体育学学科评议组成员、学位与研究生教育相关管理人员、学位与研究生教育测评专家、政府民政部门非盈利组织登记管理人员进行专家调查，对整个指标体系进行遴选、调整、验证确定及权重分析。具体过程如下：
第一轮专家调查。根据初拟的指标制成《体育学研究生教育质量社会测评组织机构的政府鉴定指标体系》专家调查表1，对国务院体育学学科评议组成员、学位与研究生教育相关管理人员、政府民政部门非盈利组织登记管理人员、学位与研究生教育测评专家（共9人）进行调查。主要对体育学研究生教育质量测评的社会测评组织机构的鉴定指标按“同意”、“不同意”及“建议指标”进行指标筛选。按照多数原则，把“同意”通过率达三分之二（66.7％）以上的指标作为第一轮入选标准。调查结果显示：（1）所选的4个一级指标和12个二级指标同意率均达到66.7％以上；（2）有8名专家建议测评的社会组织机构应该对相应的学科背景及该学科研究生教育的实情有专门的了解；（3）有7名专家建议在组织机构的性质上，要突出其非营利性导向。综合调查结果和各专家建议，对指标做如下调整：在一级指标“质量观与自我定位”中增加一个二级指标“对评估学科的专门理解”，从而形成了4个一级指标和13个二级指标的体育学研究生教育质量社会测评组织机构的政府鉴定指标体系，见表6-2。
表6-2 体育学研究生教育质量社会测评组织机构的政府鉴定指标及具体内容[16]
续表
第二轮调查将以上备选评价指标按照合理性制成《体育学研究生教育质量社会测评组织机构的政府鉴定指标体系》专家调查表2，调查对象在第一轮9位专家的基础上，将专家样本量扩至35人，回收问卷32份，有效问卷30份，有效回收率达85.71％，符合统计学相关要求。此轮调查问卷将指标的合理性程度按李克特5级量表分为5个等级，分别为非常合理（计5分）、合理（计4分）、一般（计3分）、不合理（计2分）、非常不合理（计1分）。把专家对每一个指标的意见集中度和意见协调度作为筛选指标的依据。意见集中度用各指标所得分值的算术平均值（M）来表示，意见协调度由各指标评估的变异系数来评价。变异系数（CV=S/M×100％）越小，说明专家的协调程度高，一般认为，变异系数不应大于0.3。通常，把意见集中度在3.5分以上（达到总分的70％）的指标作为入选依据。结果显示：所有指标合理性的均值范围是3.61—4.35，变异系数取值范围0.16—0.25，说明所有指标得到了专家们的认可。
考虑到每位专家对不同问题的权威程度不同，需了解专家对问题的权威程度，专家权威程度=（Cs+Ca）/2。其中，Cs表示专家对指标的熟悉程度系数，熟悉程度分为很不熟悉、较不熟悉、一般、较熟悉、熟悉、很熟悉，分别赋值0、0.1、0.3、0.5、0.7、0.9。Ca表示专家对问题做出判断的依据，评价依据包含四个维度：理论分析、实践经验、同行了解、直觉。每个维度根据对专家判断影响程度的大小分为大、中、小三个等级，分别赋值为：理论分析（0.3、0.2、0.1），实践经验（0.5、0.4、0.3），同行了解（0.1、0.1、0.1），直觉（0.1、0.1、0.1）。一般认为，专家权威系数≥0.7为可接受值。本次专家问卷调查结果表明权威系数均大于0.7，权威系数达1的比例达到50％，权威系数达0.8的比例达到45％，说明本次调查的专家在体育学研究生教育质量社会测评机构的政府鉴定方面具备一定权威性。
在问卷最后，各位专家对本次调查问卷的整体效度、结构框架以及内容选取情况进行评分。按李克特5级量表评分法将答案划分为很差（计1分）、较差（计2分）、一般（计3分）、较好（计4分）、很好（计5分）。本研究中，问卷的整体效度、结构框架、内容选取专家评分均值均大于4，满分率分别达到40％、41％和36％，说明本次问卷调查的效度较好（见表6-3）。
表6-3 本调查问卷效度检验一览表
根据以上专家调查结果，构建出含4个一级指标、13个二级指标的体育学研究生教育质量的社会测评组织机构的鉴定指标体系。
第三轮调查将上述指标体系制成《体育学研究生教育质量社会测评组织机构的政府鉴定指标体系》专家调查表3，对上述35位专家进行问卷调查，回收问卷33份，有效问卷31份，有效回收率达88.6％。计算每一指标的权重赋值均值，一级指标的权重均值即为该指标的权重，一级指标权重乘以该指标下二级指标权重赋值均值得到相应二级指标权重，形成体育学研究生教育质量的社会测评组织机构的鉴定指标体系权重（见表6-4）。
由表6-4可以看出，一级指标中，占有最高权重的指标是“结构和程序”；二级指标中，权重值排在前六位的依次为“具有明确的、约束力强的结构和程序”、“组织机构的性质”、“专业测评人员的保证”、“组织机构的质量观”、“对评估学科的专门理解”和“测评工作人员的特性”。专家对社会组织机构鉴定指标的赋值结果表明：
表6-4 体育学研究生教育质量的社会测评组织机构的鉴定指标体系权重
①社会测评机构的自身建设规范和水平是审核和鉴定体育学研究生教育质量社会测评机构最重要的因素。具体表现在：专家们都非常重视社会测评机构的结构和程序，其中最为看重是否具有开展高校内部各类评估、学位授权点、学科专业等各种评估的基本规范、评价标准及应用程序，看重各部门职权范围和责任领域以及人员安排的合理性、合法性，以及专业测评人员的胜任能力。
②社会测评机构的性质被认定为审核和鉴定体育学研究生教育质量社会测评机构的关键性指标。“官民二重性”是当前我国体育社团、体育社会组织发展的基本特征。治理社会下的体育社团、体育社会组织具有民间性、非营利性、独立性。治理社会背景下，体育研究生教育质量社会测评机构作为体育社会组织的一种，也应具有民间性、非营利性、独立性。这可能是专家们比较重视“组织机构的性质”和“测评工作人员的特性”这两个指标的原因。
③社会测评机构的发展理念是审核和鉴定体育学研究生教育质量社会测评机构的重要内容。发展理念是引领组织机构健康、可持续发展的灵魂。调查结果表明，专家们对组织机构的质量观是否与国家研究生教育发展需求、高校研究生教育的质量保证要求和社会对研究生质量的客观需要相适应，组织机构是否对评估学科有专门的理解，即组织机构是否对体育学研究生教育质量与其他学科研究生教育质量测评的异同有所认知，是否对体育学研究生教育的特殊性有所把握等问题较为关注，反映了发展理念在社会测评机构审核与评估中的重要性。
④人员和物质保障是资源保障中的核心要素。为了确保测评工作的正常运行，必须在资源上具有充足的保障，其中最为重要的是人员和物质上的持续保障，这是一个社会测评机构得以运行的重要基础。对此，专家们对指标的赋值也基本反映了这一事实：“人员与物质保障”的权重在“资源保障”中位居第一位。
（二）学位授予单位（点）和学科专业的评估
按照教育部关于新增博士、硕士学位授予单位的整体条件，需要对办学指导思想、教学与科研队伍、学科建设与教育质量、科学研究基础、办学条件（物质条件与制度条件）5大方面进行评价[17]。教育部关于《学位授予单位研究生教育质量保证体系建设基本规范》从目标与标准、招生管理、培养过程与学位授予管理、导师岗位管理、研究生管理与服务、条件保障与质量监督、质量管理与质量文化7个方面来指导学位授予单位建设内部质量保证体系[18]。教育部对硕士学位授权点的合格评估主要从以下几个方面展开：学术队伍（学术带头人、导师队伍、研究方向）、科学研究（科研成果、科研项目及经费、专著与论文）、教学与人才培养（教学成果、课程建设、研究生创新能力培养、学位论文、社会评价）、工作条件（实验室设施、图书资料与信息环境、经费投入）、管理工作（管理制度、机构及人员、管理效果）[19]。2014年，国务院学位委员会和教育部在开展学位授权点专项评估工作的通知中指出，要从师资队伍（队伍结构、导师水平）、人才培养（招生选拔、培养方案、课程教学、学术训练或实践教学、学位授予）和质量保证（制度建设、过程管理、学风教育）等方面来进行评估工作[20]。关于硕士、博士学位授权一级学科点以及硕士、博士学位授权学科专业点的基本条件评审，主要是从学科覆盖面、学术队伍、科学研究、教学与人才培养、工作条件、管理工作6个方面进行评估[21]。由上可见，政府对学位授予单位、学位授予点和一级学科专业的测评，主要是从学术队伍、科学研究、研究生培养、研究生管理、条件保障5个方面来进行的，重点关注已经具备或经过发展建成的条件性因素的评价。至于对体育学研究生重大决策的测评，主要参照学位授予单位、学位授予点和学科专业的测评进行。
1.体育学研究生学位授予单位（点）和学科专业的政府评价指标的初选
综合学者们对学位与研究生教育质量的学位授予单位（点）和学科专业的政府评价的研究成果，结合体育学科自身的特点，通过访谈国务院学位委员会体育学学科评议组成员、学位与研究生教育管理人员、研究生教育质量测评方面的专家（共10人），初步形成体育学研究生学位授予单位（点）和学科专业的政府评价指标体系的基本框架，并拟定出体育学研究生学位授予单位（点）和学科专业的政府评价指标体系，这一体系含导师队伍（A1）、科学研究（A2）、研究生培养与管理（A3）、条件保障（A4）4个一级指标，含队伍结构（B1）、团队建设（B2）、导师管理（B3）、科研项目（B4）、科研成果（B5）、学术交流（B6）、课程教学（B7）、学位论文（B8）、研究生创新能力培养（B9）、研究生就业（B10）、研究生管理（B11）、硬件保障（B12）、软件保障（B13）13个二级指标，含学源结构（C1）、年龄结构（C2）、职称结构（C3）、学历结构（C4）、学科带头人与高级别专家（C5）、创新团队与教学团队建设（C6）、研究方向特色与优势（C7）、导师考核激励问责管理（C8）、交流研修管理（C9）、科研项目级别（C10）、科研经费（C11）、论文发表（C12）、科研成果获奖（C13）、专著出版（C14）、学术会议交流（C15）、国际国内合作交流（C16）、课程建设（C17）、教学效果（C18）、优秀率（C19）、合格率（C20）、创新成果（C21）、创新环境（C22）、一次性就业率与就业质量（C23）、毕业生成就与社会贡献（C24）、招生管理（C25）、培养过程管理（C26）、基础硬件（C27）、组织机构管理与基地建设（C28）、信息化与国际化水平（C29）、质量管理文化建设（C30）30个三级指标。
2.体育学研究生学位授予单位（点）和学科专业的政府评价指标的调整
对初步确立的指标，课题组进行进一步的遴选和甄别。将初拟的指标制成《体育学研究生学位授予单位（点）和学科专业的政府评价指标体系》专家调查表1，对部分国务院学位委员会体育学学科评议组成员、学位与研究生教育相关管理人员、学位与研究生教育质量测评领域的专家、体育学研究生教育分管领导、全国高等学校体育教学指导委员会委员、学位与研究生教育质量测评领域的专家、体育学研究生导师共计40人进行问卷调查，回收问卷35份，有效问卷32份，有效回收率达80％。调查问卷按照专家对体育学研究生学位授予单位（点）和学科专业的政府评价指标“同意”“不同意”及“指标修改建议”进行指标筛选和整理。按照多数原则，把“同意”通过率在三分之二（66.7％）以上作为第一轮指标入选的基本标准，同时考虑了他们对调整、合并指标的建议。
调查结果显示：（1）除了组织机构管理与基地建设（C28）外，其他指标通过率均达70％以上。（2）普遍认为二级指标和三级指标在划分上，个别指标概念理解混乱，如“组织机构管理与基地建设”中的组织机构管理不是硬件保障，而属于软件保障的内容，建议整合到二级指标“软件保障”下的三级指标“质量管理文化建设”中。（3）由于社会对毕业生的认可度是评定研究生培养与就业质量的一个重要因素，建议在二级指标“研究生就业”下增加三级指标“社会对毕业生认可度”；（4）学科专业的社会服务能力，是评价其水平的重要指标，建议增补。综合问卷调查结果和专家意见，将体育学研究生学位授予单位（点）和学科专业的政府评价指标体系调整为4个一级指标、13个二级指标和33个三级指标，并对这些指标的内涵进行了说明，见表6-5。
3.体育学研究生学位授予单位（点）和学科专业的政府评价指标体系的验证与确立
将以上备选评价指标按照合理性制成《体育学研究生学位授予单位（点）和学科专业的政府评价指标体系》专家调查表2，再次发放给参与指标调整的40位专家进行调查，回收问卷34份，其中有效问卷33份，有效回收率为82.5％，说明本次研究得到了专家的支持，调查符合统计学的要求。调查表将指标的合理性程度按李克特5级量表分为5个等级，分别为非常合理（计5分）、合理（计4分）、一般（计3分）、不合理（计2分）、非常不合理（计1分）。把专家对每一个指标“意见集中度”和“意见协调度”作为筛选指标的依据（计算方法同前）。调查结果显示：所有指标合理性的均值范围是3.53—4.63，变异系数取值范围是0.12—0.23。因此，保留所有指标。
表6-5 体育学研究生学位授予单位（点）和学科专业的政府评价指标
续表
续表
本次专家问卷调查结果表明专家权威系数（计算方法同前）均大于0.7，权威系数达1的比例达到30％，权威系数达0.8的比例达到52％，说明本次的调查对象在体育学研究生学位授予单位（点）和学科专业的政府评价领域具备一定权威性。在问卷最后，各位专家对本次调查问卷的整体效度、结构框架以及内容选取情况进行评分。按李克特5级量表评分法将答案划分为5个等级，分别为很差（计1分）、较差（计2分）、一般（计3分）、较好（计4分）、很好（计5分）。本研究中，问卷的整体效度、结构框架、内容选取专家评分均值均大于4，满分（5分）率分别达到38％、45％和50％，说明本次问卷调查的效度较好（见表6-6）。
表6-6 本调查问卷效度检验一览表
根据以上调查结果，构建出含4个一级指标、13个二级指标和33个三级指标的体育学研究生学位授予单位（点）和学科专业的政府评价指标。
4.体育学研究生学位授予单位（点）和学科专业的政府评价指标权重的确立与分析
将上述指标制成《体育学研究生学位授予单位（点）和学科专业的政府评价指标体系》专家调查表3，对参与指标调整、验证与确立的40位专家以及20位在校研究生进行调查。回收问卷55份，其中有效问卷51份，有效回收率达85％。本调查主要对高校体育学研究生学位授予单位（点）和学科专业的政府评价指标的相对重要性进行对比，建立对比矩阵，对于重要性的判断采用1—9的等级，“同等重要、稍微重要、比较重要、十分重要、绝对重要”分别对应“1、3、5、7、9”的数值。采用yaahp6.0软件进行层次分析法计算体育学研究生学位授予单位（点）和学科专业的政府评价指标体系各级指标的权重。数据处理结果如下（见表6-7）：
A层单排序及一致性检验结果为：
WA=（A1，A2，A3，A4）=（0.2983，0.3501，0.2512，0.1005），CR=0.0117＜0.1，通过一致性检验。
B层单排序及一致性检验结果为：
WA1=（B1，B2，B3）=（0.3071，0.5121，0.1808），CR=0.0152＜0.1，通过一致性检验。
WA2=（B4，B5，B6）=（0.3459，0.5467，0.1074），CR=0.0016＜0.1，通过一致性检验。
WA3=（B7，B8，B9，B10，B11）=（0.2286，0.3069，0.1567，0.2542，0.0536），CR=0.0018＜0.1，通过一致性检验。
WA4=（B12，B13）=（0.6502，0.3498），CR=0.0021＜0.1，通过一致性检验。
归一化后层次总排序结果为：
WB=（0.0916，0.1528，0.0539，0.1211，0.1914，0.0376，0.0574，0.0771，0.0394，0.0639，0.0135，0.0653，0.0352），CR=0.013＜0.1，通过一致性检验。
C层单排序及一致性检验结果为：
WB1=（C1，C2，C3，C4）=（0.1621，0.1591，0.3261，0.3527），CR=0.0013＜0.1，通过一致性检验。
WB2=（C5，C6，C7，C8）=（0.3295，0.3148，0.2034，0.1523），CR=0.0024＜0.1，通过一致性检验。
WB3=（C9，C10）=（0.5932，0.4068），CR=0.0024＜0.1，通过一致性检验。
WB4=（C11，C12）=（0.6094，0.3906），CR=0.0021＜0.1，通过一致性检验。
WB5=（C13，C14，C15）=（0.5061，0.1962，0.2977），CR=0.0021＜0.1，通过一致性检验。
WB6=（C16，C17）=（0.5498，0.4502），CR=0.0019＜0.1，通过一致性检验。
WB7=（C18，C19）=（0.4581，0.5419），CR=0.0024＜0.1，通过一致性检验。
WB8=（C20，C21）=（0.3176，0.6824），CR=0.0024＜0.1，通过一致性检验。
WB9=（C22，C23）=（0.6079，0.3921），CR=0.0025＜0.1，通过一致性检验。
WB10=（C24，C25，C26）=（0.5035，0.2032，0.2933），CR=0.0025＜0.1，通过一致性检验。
WB11=（C27，C28）=（0.3654，0.6346），CR=0.0021＜0.1，通过一致性检验。
WB12=（C29，C30，C31）=（0.6025，0.1736，0.2239），CR=0.0021＜0.1，通过一致性检验。
WB13=（C32，C33）=（0.5973，0.4027），CR=0.0022＜0.1，通过一致性检验。
归一化后层次总排序结果为：
WC=（0.0148，0.0146，0.0299，0.0323，0.0503，0.0481，0.0311，0.0233，0.032，0.0219，0.0738，0.0473，0.0969，0.0376，0.0570，0.0207，0.0169，0.0263，0.0311，0.0245，0.0526，0.0239，0.0154，0.0322，0.0130，0.0187，0.0049，0.0085，0.0394，0.0113，0.0146，0.0210，0.0142），CR=0.025＜0.1，通过一致性检验。
从表6-7的权重结果来看，一级指标中所占权重最高的指标是科学研究，其次是导师队伍；二级指标中，权重占前7位的依次为：科研成果、团队建设、科研项目、队伍结构、学位论文、硬件保障、研究生就业；三级指标中权重排在前6位的依次为：论文发表、科研项目级别、专著出版、学位论文合格率、学科带头人与高级别专家、创新团队和教学团队建设。
表6-7 体育学研究生学位授予单位（点）和学科专业的政府评价指标权重
续表
可见，已经具备或经过发展建成的条件性因素是政府对体育学研究生学位授予单位（点）和学科专业评价时最为关注的要素，这与前面的理论分析一致。在体育学研究生学位授予单位（点）和学科专业的这些条件性因素中，对于科学研究和导师队伍建设的重视，体现了科学研究和导师队伍在体育学研究生教育质量提升中的基础地位，反映了当前学位授予单位（点）和学科专业发展的科研导向及学科建设意识，符合研究生教育发展的整体趋势。这也提示我们，在体育学研究生教育中，要明确区分与体育学本科教育的区别，突出研究生教育学术性、建设性、创新性的特征，而不能仍局限于体育学本科教育的专业性和职业性发展上。
学位论文和研究生就业是衡量体育学研究生学位授予单位（点）及学科专业发展水平的两个重要因素。由表6-7可以看出，在研究生培养和管理中，学位论文和研究生就业是进入前7名的两个二级指标，反映专家们对学位论文和研究生就业两个指标在研究生培养中的重要性有较高的一致性认识。学位论文是研究生学习成果和科研能力的一个集中体现，在研究生教育培养中一直备受关注。近年来，研究生就业成为衡量研究生教育水平的一个新的重要指标，表明研究生教育开始重视研究生教育产品的终结性评价，注重研究生培养的形成性评价与终结性评价的有机结合。
在审核和评价体育学研究生学位授予单位（点）及学科专业时，硬件保障是条件保障指标中最重要的指标。从表6-7可以看出，“条件保障”在整个测评指标体系中的权重只有0.1005，“硬件保障”的权重就有0.0653，占大约65％。此外，信息化、国际化水平作为软件保障中的重要因素受到了关注。