高校自我评价的指标设计、验证及权重分析
高校利益主体的评价标准强调研究生教育在满足学术、专业发展以及学生个人发展需要方面的程度。由于体育学研究生教育质量的自我评价主要是由各个培养单位根据自身定位和发展目的以及本单位的特色自主组织开展的，因此在评价指标体系的设计上具有较强的针对性、灵活性和特色化。而且，高校自我评价的类型多、范围广、内容丰富，更使自我评价的指标体系呈现多元化的态势。各个高校或培养单位可以根据自己的测评目的灵活地制定相应的测评标准。高校自我评价的丰富多样性，使本研究不可能对高校自我评价中各种各类评价的指标体系进行穷尽的研究。本研究只对高校体育学研究生教育整体质量测评的指标体系进行研究，供高校内部的研究生主管部门、主管单位和学术委员会（或教授会）对体育学研究生教育质量进行整体性测评，以检查、诊断和发现问题，及时改进，促进高校内部体育学研究生教育的改革，提升自身的研究生教育质量。
1.体育学研究生教育质量的高校自我评价指标的初选
美国高等院校内部问责制作为高校自我管理的一项制度和一种实践手段，是美国高校以改进完善为目的的自我评价监督过程，是高校内部教育质量保障的自觉行动。美国纽约州立大学洛克菲勒政府研究所（The Nelson A.Rockefeller Institute of Government）通过对29个州的公立高等院校问责制的158项绩效指标进行研究，列举出了高校中具有共性的、最常用的8项绩效指标：毕业率、入学机会或种族、受资助的科研项目、学生转学率、学杂费、财政资助、学位授予、资格证测验分数。其中毕业率是高校最常用的绩效指标。而毕业率或保留率、就业率、学生转学率、教师工作量、院校选择、资格证测验分数、获得学位的时间、劳动力与经济发展是绩效拨款常用的8大绩效指标[36]。2011年，纽约州立大学从学生的学习、科研、学生与教师、财务状况、服务5大方面进行内部问责[37]。美国加州大学2012年年度问责制报告在评价研究生和专业学位研究生的情况时，关注研究生和专业学位研究生的录取、经济支付能力、毕业后的就业情况等[38]。美国得克萨斯大学2007年确立了以“学生成果评价”为重点的内部问责绩效指标，“学生成果评价”又细分为：大学学习评价、学生经验、毕业率、证书考试通过率、毕业后的成功、入学趋势6个方面[39]。可见，美国高等院校在进行校内问责时，重点关注的是学校教育的运作过程和运行效率以及学生的学业成果，同时对科研、经费、教师、服务等指标也比较重视。
如何建立一套科学合理的与高校体育学研究生发展实际相符，又与国家学位与研究生教育评估接轨的体育学研究生教育质量的自我评价指标体系，是建立高校自我评价体系的核心和关键工作。有研究认为，学位与研究生教育自我评估指标体系主要包括研究生培养（0.4）、学科建设（0.4）、教学管理与思想政治工作（0.2）3个一级指标[40]。有研究遵循突出重点、反映本质、系统、可操作、普遍适用原则，认为学位与研究生教育质量评估的指标体系可由办学思想（0.0329）、导师队伍（0.2638）、研究生培养（0.5101）、管理工作（0.0636）、社会评价（0.1296）5个一级指标组成[41]，以期为各培养单位评估自身的研究生教育质量提供参考。有研究基于实证调查、运用模糊数学理论中的多级多因素综合评判模型构建了包含研究生综合素质、导师综合作用、研究生管理机制、社会认同度4个因素的研究生教育质量评估模型[42]。有研究构建了包含导师队伍、科学研究、研究生招生、研究生培养、培养条件、升学就业的校内研究生教育质量自我评估体系[43]。有研究从研究生教育质量测评内涵和维度出发，提出了包含物质条件、导师指导、管理教育、外部评价4个维度的研究生教育质量评价指标体系[44]。综合学者们对学位与研究生教育质量的自我评估指标体系的研究成果，紧扣学位与研究生教育校内自我评估的侧重点，结合体育学科自身的特点，参照国务院学位委员会、教育部联合印发的针对学术学位的《博士、硕士学位基本要求》和全国专业学位研究生教育指导委员会编写的《体育硕士专业学位基本要求》，本研究初步构建了我国体育学研究生教育质量测评的高校自我评价指标体系。这个体系包括研究生综合素质（A1）、导师综合素质（A2）、研究生培养及管理（A3）、社会认可度（A4）4个一级指标，二级指标是研究生基本素养（B1）、专业能力（B2）、学术研究水平（B3）、导师基本素养（B4）、教学与科研能力（B5）、指导管理能力（B6）、招生（B7）、培养（B8）、管理（B9）、用人单位认可情况（B10）、家长满意度（B11）、公众评价（B12）12个，有47个三级指标。
2.体育学研究生教育质量的高校自我评价指标的调整
对初步确立的指标，课题组进行进一步的遴选和甄别。将初拟的指标制成《体育学研究生教育质量的高校自我评价指标体系》专家调查表1，对学位与研究生教育管理人员（6人）和体育学科领域专家（14人）进行访谈及问卷调查。发放问卷20份，回收问卷18份，有效问卷16份，有效回收率80％。课题组按照专家对体育学研究生教育质量的高校自我评价指标的“同意”“不同意”及“指标修改建议”进行指标筛选和整理。把“同意”通过率达三分之二（66.7％）以上的指标作为第一轮入选标准，同时考虑了他们对调整、合并指标的建议。调查结果显示：（1）除了一级指标“社会认可度”（A4）外，其他所有指标同意通过率均超过75％。（2）所设计的4个一级指标中，前3个指标得到专家们一致充分的认可，但普遍认为第4个一级指标“社会认可度”不合理，他们指出，本研究在于构建体育学研究生教育质量测评的高校自我评价指标体系，评价对象主要是在校研究生，因此可以不考虑“社会认可度”这一指标，但可以考虑研究生的就业或升学情况。根据专家意见，本研究在一级指标“研究生综合素质”（A1）下增加二级指标“升学/就业”，并在此指标下设置“升学/就业率”和“升学/就业质量”两个三级指标。基于此，课题组按照专家的意见将体育学研究生教育质量的高校自我评价指标体系调整为3个一级指标、10个二级指标和39个三级指标。
3.体育学研究生教育质量的高校自我评价指标体系的验证与确立
将以上备选评价指标按照合理性制成《高校体育学研究生教育质量自我评价指标体系》调查表2，对学位与研究生教育的相关管理人员（15人）、研究生导师（15人）、少量具有代表性的在校研究生（10人）、体育学领域的相关学科专家（15人），共计55人进行问卷调查。共发放问卷55份，回收52份，其中有效问卷50份，有效回收率为91％，说明本次研究得到了专家及各相关利益主体的支持，调查符合统计学的要求。调查中，将指标的合理性程度按李克特5级量表分为5个等级，分别为非常合理（计5分）、合理（计4分）、一般（计3分）、不合理（计2分）、非常不合理（计1分）。把专家及相关利益主体对每一个指标“意见集中度”和“意见协调度”作为筛选指标的依据（计算方法同前），调查结果显示：所有指标合理性的均值范围是3.76—4.64，变异系数取值范围是0.12—0.23。因此，保留所有指标。
本次调查结果表明权威系数均（计算方法同前）大于0.76，权威系数达1的指标达到40％，熟悉系数达0.8的指标达到50％，说明本次的调查对象在高校体育学研究生教育质量自我评价领域具备一定权威性。
在问卷最后，各位专家及相关利益主体对本次调查问卷的整体效度、结构框架以及内容选取情况进行评分。按李克特5级量表评分法将答案划分为5个等级，分别为很差（计1分）、较差（计2分）、一般（计3分）、较好（计4分）、很好（计5分）。本研究中，问卷的整体效度、结构框架、内容选取专家评分均值均大于4，满分（5分）率分别达到35％、38％和40％，说明本次问卷调查的效度较好（见表6-11）。
表6-11 本调查问卷效度检验一览表
根据以上调查结果，构建出含3个一级指标、10个二级指标和39个三级指标的高校体育学研究生教育质量的自我评价指标（见表6-12）。
表6-12 高校体育学研究生教育质量的自我评价指标的确立
续表
4.高校体育学研究生教育质量自我评价指标权重的确定与分析
将上述指标制成《高校体育学研究生教育质量自我评价指标体系》调查表3，对包括参与指标验证与确立的55位专家及相关利益主体在内的学位与研究生教育管理人员、体育学科领域专家、研究生导师、在校研究生共130人进行问卷调查，回收问卷120份，其中有效问卷111份，有效回收率达85.4％。调查问卷主要对高校体育学研究生教育质量的自我评价指标的相对重要性进行对比，建立起对比矩阵，对于重要性的判断采用1—9的等级，“同等重要、稍微重要、比较重要、十分重要、绝对重要”分别对应“1、3、5、7、9”的数值。采用yaahp6.0软件进行层次分析确定各指标的权重，分别计算体育学专业硕士研究生、体育学学术型硕士研究生、体育学博士研究生教育质量校内自我评价指标体系中各级指标的权重。
（1）体育学专业硕士研究生教育质量校内自我评价指标体系权重
A层单排序及一致性检验结果为：
WA=（A1，A2，A3）=（0.3812，0.2275，0.3913），CR=0.0117＜0.1，通过一致性检验。
B层单排序及一致性检验结果为：
WA1=（B1，B2，B3，B4）=（0.2326，0.3885，0.2277，0.1512），CR=0.0152＜0.1，通过一致性检验。
WA2=（B5，B6，B7）=（0.2645，0.3841，0.3514），CR=0.0016＜0.1，通过一致性检验。
WA3=（B8，B9，B10）=（0.2445，0.6280，0.1275），CR=0.0018＜0.1，通过一致性检验。
归一化后层次总排序结果为：
WB=（0.0887，0.1481，0.0868，0.0576，0.0602，0.0874，0.0799，0.0957，0.2457，0.0499），CR=0.013＜0.1，通过一致性检验。
C层单排序及一致性检验结果为：
WB1=（C1，C2，C3，C4）=（0.2653，0.2574，0.2604，0.2169），CR=0.0013＜0.1，通过一致性检验。
WB2=（C5，C6，C7，C8）=（0.2651，0.2471，0.3036，0.1842），CR=0.0024＜0.1，通过一致性检验。
WB3=（C9，C10，C11，C12）=（0.4297，0.1047，0.2099，0.2557），CR=0.0021＜0.1，通过一致性检验。
WB4=（C13，C14）=（0.6825，0.3175），CR=0.0019＜0.1，通过一致性检验。
WB5=（C15，C16，C17）=（0.3175，0.3087，0.3738），CR=0.0024＜0.1，通过一致性检验。
WB6=（C18，C19，C20，C21）=（0.3064，0.3847，0.1444，0.1645），CR=0.0025＜0.1，通过一致性检验。
WB7=（C22，C23，C24，C25）=（0.2317，0.3203，0.1831，0.2649），CR=0.0021＜0.1，通过一致性检验。
WB8=（C26，C27，C28，C29）=（0.2406，0.2505，0.2609，0.2480），CR=0.0022＜0.1，通过一致性检验。
WB9=（C30，C31，C32，C33，C34，C35）=（0.2061，0.2295，0.2341，0.1041，0.1038，0.1224），CR=0.0023＜0.1，通过一致性检验。
WB10=（C36，C37，C38，C39）=（0.1682，0.2966，0.3301，0.2051），CR=0.0014＜0.1，通过一致性检验。
归一化后层次总排序结果为：
WC=（0.0235，0.0228，0.0231，0.0192，0.0393，0.0366，0.045，0.0273，0.0373，0.0091，0.0182，0.0222，0.0393，0.0183，0.0191，0.0186，0.0225，0.0268，0.0336，0.0126，0.0144，0.0185，0.0256，0.0146，0.0212，0.0230，0.0240，0.0250，0.0237，0.0506，0.0564，0.0575，0.0256，0.0255，0.0301，0.0084，0.0148，0.0165，0.0102），CR=0.025＜0.1，通过一致性检验。
（2）体育学学术型硕士研究生教育质量校内自我评价指标体系权重
A层单排序及一致性检验结果为：
WA=（A1，A2，A3）=（0.3889，0.2416，0.3695），CR=0.0217＜0.1，通过一致性检验。
B层单排序及一致性检验结果为：
WA1=（B1，B2，B3，B4）=（0.2597，0.2728，0.3220，0.1455），CR=0.0132＜0.1，通过一致性检验。
WA2=（B5，B6，B7）=（0.2459，0.3960，0.3581），CR=0.0015＜0.1，通过一致性检验。
WA3=（B8，B9，B10）=（0.2456，0.6378，0.1166），CR=0.0013＜0.1，通过一致性检验。
归一化后层次总排序结果为：
WB=（0.1010，0.1061，0.1252，0.0566，0.0594，0.0957，0.0865，0.0907，0.2357，0.0431），CR=0.011＜0.1，通过一致性检验。
C层单排序及一致性检验结果为：
WB1=（C1，C2，C3，C4）=（0.2620，0.2591，0.2561，0.2228），CR=0.0011＜0.1，通过一致性检验。
WB2=（C5，C6，C7，C8）=（0.2648，0.2369，0.2429，0.2553），CR=0.0044＜0.1，通过一致性检验。
WB3=（C9，C10，C11，C12）=（0.3893，0.1810，0.2436，0.1861），CR=0.0021＜0.1，通过一致性检验。
WB4=（C13，C14）=（0.5632，0.4368），CR=0.0015＜0.1，通过一致性检验。
WB5=（C15，C16，C17）=（0.3033，0.3210，0.3757），CR=0.0023＜0.1，通过一致性检验。
WB6=（C18，C19，C20，C21）=（0.2392，0.2763，0.2172，0.2673），CR=0.0021＜0.1，通过一致性检验。
WB7=（C22，C23，C24，C25）=（0.3097，0.2324，0.2113，0.2466），CR=0.0028＜0.1，通过一致性检验。
WB8=（C26，C27，C28，C29）=（0.2364，0.2527，0.2600，0.2509），CR=0.0023＜0.1，通过一致性检验。
WB9=（C30，C31，C32，C33，C34，C35）=（0.1840，0.1906，0.2911，0.1071，0.0970，0.1302），CR=0.0025＜0.1，通过一致性检验。
WB10=（C36，C37，C38，C39）=（0.1658，0.2982，0.3357，0.2003），CR=0.0014＜0.1，通过一致性检验。
归一化后层次总排序结果为：
WC=（0.0265，0.0262，0.0259，0.0225，0.0281，0.0251，0.0258，0.0271，0.0488，0.0227，0.0305，0.0233，0.0319，0.0247，0.0180，0.0191，0.0223，0.0229，0.0264，0.0208，0.0256，0.0252，0.0201，0.0183，0.0213，0.0215，0.0229，0.0236，0.0228，0.0434，0.0449，0.0686，0.0252，0.0229，0.0307，0.0071，0.0128，0.0145，0.0086），CR=0.0230＜0.1，通过一致性检验。
（3）体育学博士研究生教育质量校内自我评价指标体系权重
A层单排序及一致性检验结果为：
WA=（A1，A2，A3）=（0.3992，0.3027，0.2981），CR=0.0138＜0.1，通过一致性检验。
B层单排序及一致性检验结果为：
WA1=（B1，B2，B3，B4）=（0.2708，0.2065，0.3918，0.1309），CR=0.0142＜0.1，通过一致性检验。
WA2=（B5，B6，B7）=（0.2065，0.4201，0.3734），CR=0.0115＜0.1，通过一致性检验。
WA3=（B8，B9，B10）=（0.2515，0.6514，0.0971），CR=0.0211＜0.1，通过一致性检验。
归一化后层次总排序结果为：
WB=（0.1081，0.0824，0.1564，0.0523，0.0625，0.1272，0.1130，0.0750，0.1942，0.0289），CR=0.0230＜0.1，通过一致性检验。
C层单排序及一致性检验结果为：
WB1=（C1，C2，C3，C4）=（0.2683，0.3046，0.1935，0.2336），CR=0.0110＜0.1，通过一致性检验。
WB2=（C5，C6，C7，C8）=（0.2771，0.1938，0.2016，0.3275），CR=0.0140＜0.1，通过一致性检验。
WB3=（C9，C10，C11，C12）=（0.2825，0.2256，0.3294，0.1625），CR=0.0190＜0.1，通过一致性检验。
WB4=（C13，C14）=（0.4246，0.5754），CR=0.0250＜0.1，通过一致性检验。
WB5=（C15，C16，C17）=（0.3545，0.3836，0.2619），CR=0.0330＜0.1，通过一致性检验。
WB6=（C18，C19，C20，C21）=（0.0942，0.1815，0.3175，0.4068），CR=0.0220＜0.1，通过一致性检验。
WB7=（C22，C23，C24，C25）=（0.3283，0.1245，0.2676，0.2796），CR=0.0270＜0.1，通过一致性检验。
WB8=（C26，C27，C28，C29）=（0.2649，0.2146，0.2852，0.2353），CR=0.0350＜0.1，通过一致性检验。
WB9=（C30，C31，C32，C33，C34，C35）=（0.1958，0.0924，0.3462，0.1532，0.0543，0.1581），CR=0.0250＜0.1，通过一致性检验。
WB10=（C36，C37，C38，C39）=（0.1368，0.3205，0.3872，0.1555），CR=0.0240＜0.1，通过一致性检验。
归一化后层次总排序结果为：
WC=（0.0290，0.0329，0.0209，0.0253，0.0228，0.0160，0.0166，0.0270，0.0442，0.0353，0.0515，0.0254，0.0222，0.0301，0.0222，0.0240，0.0164，0.0120，0.0231，0.0404，0.0517，0.0371，0.0141，0.0302，0.0316，0.0199，0.0161，0.0214，0.0176，0.0380，0.0179，0.0672，0.0297，0.0105，0.0307，0.0040，0.0093，0.0112，0.0045），CR=0.0310＜0.1，通过一致性检验。
（4）权重分析
由表6-13可以看出，高校体育学研究生教育质量自我评价指标体系中，硕士研究生的“研究生综合素质”与“研究生培养与管理”在一级指标中占有较高的权重，表明这两个指标是影响体育学硕士研究生教育质量最重要的因素，也是高校体育学硕士研究生教育质量自我测评最为关注的内容。三类研究生的3个一级指标的权重在层次上稍微有些差异，如从专业硕士到学术型硕士再到博士研究生，“研究生综合素质”和“导师综合素质”指标的权重值逐渐增加，表明专家们一致认为随着学位层次和学术层次的提升，体育学研究生教育质量对学生综合素质和导师综合素质有更高的要求，博士研究生教育质量中，“研究生综合素质”和“导师综合素质”相对于硕士研究生而言显得更为重要。
表6-13 高校体育学研究生教育质量自我评价指标权重的确立
续表
续表
三类体育学研究生教育质量自我评价的二级指标权重表现出一定的差异，具体表现在：①研究生培养、学生的专业能力、研究生招生是测评体育学专业硕士研究生教育质量的重要指标，所占权重较高；②研究生培养、学生的学术研究水平、学生的专业能力是测评体育学学术型硕士研究生教育质量的重要指标，所占权重较高；③研究生培养、学生的学术研究水平、导师的教学与科研能力是测评体育学博士研究生教育质量的重要指标，所占权重较高。可见，除了研究生培养是三类研究生教育质量评价都要考虑的指标外，专业硕士研究生教育质量测评更关注学生的“专业能力”和研究生“招生”，学术型硕士研究生教育质量测评更关注学生“学术研究水平”和“专业能力”的综合全面发展，博士研究生教育质量测评更关注学生的“学术研究水平”和导师的“教学与科研能力”。三类研究生在“专业能力”、“招生”、“学术研究水平”和导师“教学与科研能力”4个二级指标上的权重从专业硕士到学术硕士再到博士研究生，前两者呈现出依次降低趋势，后两者呈现出逐步提高的趋势。综合可见，专业硕士教育对专业能力要求高，博士对学术研究水平要求相对较高，学术型硕士既要有一定的学术研究水平，也要有一定的专业能力；导师的教学与科研能力在博士研究生教育中显得更为重要；“招生”在专业硕士教育中显得更为重要。
三类体育学研究生教育质量自我评价的三级指标权重结果如下：（1）高校体育学专业硕士教育质量评价的三级指标权重列在前三位的分别为：①学位论文开题、调研、定稿、答辩的指导与监督，②教学组织与评价对研究生实践应用能力、研究能力、创新精神的影响，③培养方案与课程设置的系统性、前瞻性和应用性。（2）体育学学术型硕士研究生教育质量评价的三级指标权重列在前三位的分别为：①学位论文开题、调研、定稿、答辩的指导与监督，②学生基本体育科研方法与实验技能的掌握、应用与反思，③教学组织与评价对研究生实践应用能力、研究能力、创新精神的影响。（3）体育学博士研究生教育质量评价的三级指标权重列在前三位的分别为：①学位论文开题、调研、定稿、答辩的指导与监督，②导师科研成果的质量，以及推广应用情况与效果，③学生学位论文的价值及创新水平。
完成学位论文是研究生教育的重要环节，其成果是研究生学习效果和导师指导结果的浓缩与集中反映，因此三类研究生教育质量测评都最为关注学位论文开题、调研、定稿、答辩的指导与监督，从培养角度看，这是影响研究生教育质量的关键。
两类硕士研究生教育质量测评都较为重视教学组织与评价对研究生实践应用能力、研究能力、创新精神的影响，但专业型硕士对培养方案与课程设置有更高的要求，而学术型硕士更重视学生基本体育科研方法与实验技能的掌握、应用与反思。这可能是因为专业硕士的学习时间短，在有限的两年时间内，其主要任务就是完成课程学习和毕业论文，因此培养方案与课程设置的系统性、前瞻性和应用性对专业硕士的影响相对较大；学术型硕士研究生学习时间较长，其学术水平要求也要高于专业型硕士，因此其教育质量测评更重视学生基本体育科研方法与实验技能的掌握、应用与反思，以为完成硕士毕业论文或进入更高阶段的博士生学习奠定良好的科研方法和实验技能基础。
相对于体育学硕士研究生，体育学博士研究生教育质量测评更为看重导师的科研成果质量以及推广应用情况与效果，更为重视学生学位论文的价值及创新水平。这是因为博士研究生教育较高的学术要求所致。
此外，相对于体育学硕士研究生而言，体育学博士研究生教育质量测评更为重视导师的指导管理能力、个人发展、健康状况，更为重视学生的学习投入、外语和计算机等专业辅助能力、升学/就业质量。相对于体育学博士研究生而言，体育学硕士研究生教育质量测评更为重视导师的责任心、导师展示及教授各种身体活动方式的能力、教学和训练方法的创新与实践能力、培养学生应用所学知识与方法指导实践发展的能力等，更加重视研究生管理和学生的升学/就业率。