社会评价的指标设计、验证及权重分析
由于体育学研究生教育的社会利益关联人较多，不同的利益主体对体育学研究生教育的需求和价值取向不同，导致社会评价目的、社会评价对象的多样化，因此要建立一个较为统一的指标评价体系相对较难。而当前我国社会评价机制不健全，更使我国对研究生教育质量的社会评价指标体系的探索处于薄弱状态，体育学研究生教育在这方面亦是如此。
研究生教育质量评价除了要考虑其灵活性外，还要重视其整体的价值取向。长期以来，我国研究生教育质量保证措施较少考虑成本控制，随着研究生教育规模的扩大，即便以牺牲成本为代价也难以维系这种质量保证体系。任何质量保证都需要付出成本，同时必须考虑质量保证效果与成本之比。如前所述，政府评价关注办学资源、办学条件、制度建设水平等条件性因素评价，而社会评价重视研究生教育产出成果的结果性评价，较为关注教育结果，如毕业研究生的数量与质量、导师素质的提升、教学与学术研究成果、就业率等。社会评价强调产出成果的结果性评价，可以促进研究生教育更加关注投入和产出的效率，突出教育的经济性。基于此，本研究着力建构一个适合评价体育学研究生教育产出成果的社会评价指标体系，为我国体育学研究生教育质量的社会评价提供一个基本的蓝本。
1.体育学研究生教育质量社会评价指标的初选
在现有的文献中，对研究生教育质量的社会评价指标进行研究的成果并不多见，但已有研究却为本研究指标体系的初步选择提供了参照。例如，赵铁、林昆勇认为，人才培养质量的社会评价要从用人单位和非用人单位的角度来进行评价[24]；杨红娟、韩东华运用递阶多层次评价方法对高等学校毕业生指标体系进行构建，将高校毕业生的社会评价指标体系划分为毕业生评价、用人单位评价、公众评价3个一级指标，以及办学条件、办学水平、德、能、绩、勤、健、就8个二级指标和28个三级指标[25]；之后又有人对高校毕业生的社会评价指标进行完善，分为3个一级指标、9个二级指标和37个三级指标[26]。
在体育学研究生教育领域，有学者认为要想提高研究生教育质量首先必须创新教育理念，然后要使人才培养适应社会发展需求，重点抓培养方案的完善、导师队伍的建设、学位论文的评审和监督力度[27]；还有学者认为应以社会需求为出发点来培养体育学研究生[28]。这些研究都意识到了社会需求在体育学研究生教育中的重要性，但目前仍未有研究对社会需求的具体指标进行考察，致使高校体育学研究生教育与社会需求的契合度不高[29]。不过，在本科教育层面，有人对体育教育专业本科毕业生综合素质的社会评价体系进行了构建，划分为身体素质、体育专业素质、体育专业文化素质、体育道德素质4个一级指标和18个二级指标[30]，这为体育学研究生教育质量的社会评价指标遴选提供了参考。
基于以上研究，结合体育学研究生教育的自身特点，我们将体育学研究生教育质量的社会评价指标初步确立为人才规格（A1）、办学情况（A2）和公信力（A3）3个一级指标，德（B1）、能（B2）、勤（B3）、绩（B4）、健（B5）、办学条件（B6）、办学水平（B7）、就业（B8）、声誉（B9）9个二级指标，以及政治素质（C1）、思想素质（C2）、职业道德（C3）、社会公德（C4）、理论知识水平（C5）、体育教育能力（C6）、体育科研能力（C7）、外语水平（C8）、计算机应用能力（C9）、表达能力（C10）、问题解决能力（C11）、组织管理能力（C12）、协调能力（C13）、出勤情况（C14）、钻研情况（C15）、工作数量（C16）、工作质量（C17）、工作方法（C18）、工作效率（C19）、身体健康（C20）、心理健康（C21）、社会适应能力（C22）、硬件条件（C23）、校风（C24）、学风（C25）、课程设置（C26）、基础课教学质量（C27）、专业课教学质量（C28）、实践性的教学效果（C29）、学科建设水平（C30）、学生培养工作（C31）、就业率（C32）、专业相关度（C33）、薪金水平（C34）、就业结构（C35）、专业知名度（C36）、学校知名度（C37）37个三级指标，并对这些指标的内涵进行了说明。
2.体育学研究生教育质量社会评价指标的调整
将初步拟定的指标体系制成《体育学研究生教育质量社会评价指标体系》专家调查表1，对体育学和教育学领域内长期从事研究生教育质量监管及研究的专家（5人）、用人单位的领导（12人）进行问卷调查，回收问卷15份，有效问卷14份，有效回收率82.4％。对体育学研究生教育质量的社会评价指标按“同意”“不同意”及“建议指标”进行指标筛选。把“同意”通过率达三分之二（66.7％）以上的指标作为第一轮入选标准。调查结果显示：（1）3个一级指标和9个二级指标通过率均达85％以上。（2）表达能力（C10）、问题解决能力（C11）和学生培养工作（C31）这三个三级指标“同意”通过率低于66.7％，因此予以删除。（3）在二级指标“德”中，政治素质、思想素质、职业道德、社会公德4个指标的层次关系不清楚，后两者同属于道德素质，建议将职业道德和社会公德合并为道德素质。（4）对体育学研究生的特殊性关注不够，如建议在二级指标“能（B2）”中，增加“运动技术表现能力”，因为运动技术表现能力是体育学研究生区别于其他学科研究生最基本的能力。（5）二级指标“办学条件（B6）”分类不清，建议调整为硬件设施、软件环境、师资队伍、培养方案4个三级指标。（6）二级指标“能（B2）”下的三级指标划分过细，建议将外语水平（C8）、计算机应用能力（C9）、组织管理能力（C12）、协调能力（C13）4个二级指标合并为“专业辅助能力”。（7）建议将“心理健康（C21）”和“社会适应能力（C22）”合并为“心理健康与社会适应”。据此，根据专家调查的意见，将体育学研究生教育质量社会评价指标调整为含3个一级指标、9个二级指标和30个三级指标的指标体系。
3.体育学研究生教育质量社会评价指标的验证与确立
将以上备选评价指标按照合理性制成《体育学研究生教育质量社会评价指标体系》专家调查表2。在第一轮参与指标调整的17位专家、领导基础上，将调查样本量扩至55人，即质量监管和研究专家（10人）、用人单位领导（15人）、毕业生代表（15人）和对研究生教育比较了解的研究生家长（15人）。共回收问卷50份，其中有效问卷48份，有效回收率为87.3％，说明本次研究得到了专家及各利益相关主体的支持，调查符合统计学的要求。调查表将指标的合理性程度按李克特5级量表分为5个等级，分别为非常合理（计5分）、合理（计4分）、一般（计3分）、不合理（计2分）、非常不合理（计1分）。按照专家及各利益相关主体对每一个指标“意见集中度”和“意见协调度”作为筛选指标的依据（计算方法同前）。调查结果显示：除了三级指标工作方法（C13的均值为3.1，变异系数为0.28）外，其余所有指标合理性的均值范围是3.89—4.67，变异系数取值范围是0.15—0.27。因此，删除三级指标工作方法（C13）。
本次专家问卷调查结果表明权威系数（计算方法同前）均大于0.75，权威系数达1的比例达到50％，权威系数达0.8的比例达到45％，说明本次调查的专家在体育学研究生教育质量社会评价领域具备一定权威性。
在问卷最后，各位专家对本次调查问卷的整体效度、结构框架以及内容选取情况进行评分。按李克特5级量表评分法将答案划分为5个等级，分别为很差（计1分）、较差（计2分）、一般（计3分）、较好（计4分）、很好（计5分）。本研究中，问卷的整体效度、结构框架、内容选取专家评分均值均大于4，满分（5分）率分别达到40％、41％和36％，说明本次问卷调查的效度较好（见表6-8）。
表6-8 本调查问卷效度检验一览表
根据以上专家调查结果，构建出含3个一级指标、9个二级指标和29个三级指标的体育学研究生教育质量的社会评价指标（见表6-9）。
表6-9 体育学研究生教育质量的社会评价指标
续表
4.体育学研究生教育质量社会评价指标权重的确定与分析
将上述指标制成《体育学研究生教育质量社会评价指标体系》专家调查表3，对包括参与指标验证与确立的55位专家与相关利益主体在内的研究生教育质量监管和研究专家、用人单位的领导、毕业生代表和对研究生教育比较了解的研究生家长代表共100人进行问卷调查，回收问卷92份，其中有效问卷88份，有效回收率达88％。问卷主要对体育学研究生教育质量社会评价指标的相对重要性进行对比，建立对比矩阵，对于重要性的判断采用1—9的等级，“同等重要、稍微重要、比较重要、十分重要、绝对重要”分别对应“1、3、5、7、9”的数值。采用yaahp6.0软件进行层次分析法计算体育学研究生教育质量的社会评价指标体系各级指标的权重（见表6-10）。
数据处理结果为：
A层单排序及一致性检验结果为：
WA=（A1，A2，A3）=（0.5570，0.2528，0.1902），CR=0.0171＜0.1，通过一致性检验。
B层单排序及一致性检验结果为：
WA1=（B1，B2，B3，B4，B5）=（0.1538，0.3351，0.1016，0.2878，0.1217），CR=0.0129＜0.1，通过一致性检验。
WA2=（B6，B7）=（0.4513，0.5487），CR=0.0014＜0.1，通过一致性检验。
WA3=（B8，B9）=（0.6198，0.3802），CR=0.0012＜0.1，通过一致性检验。
归一化后层次总排序结果为：
WB=（0.0857，0.1867，0.0566，0.1603，0.0678，0.1141，0.1387，0.1179，0.0723），CR=0.015＜0.1，通过一致性检验。
C层单排序及一致性检验结果为：
WB1=（C1，C2，C3）=（0.3023，0.2026，0.495），CR=0.0012＜0.1，通过一致性检验。
WB2=（C4，C5，C6，C7，C8）=（0.1892，0.1968，0.3029，0.1934，0.1177），CR=0.0004＜0.1，通过一致性检验。
WB3=（C9，C10）=（0.4502，0.5498），CR=0.0011＜0.1，通过一致性检验。
WB4=（C11，C12，C13）=（0.3093，0.4618，0.2289），CR=0.0015＜0.1，通过一致性检验。
WB5=（C14，C15）=（0.4508，0.5491），CR=0.0012＜0.1，通过一致性检验。
WB6=（C16，C17，C18，C19）=（0.2828，0.1072，0.3928，0.2172），CR=0.0016＜0.1，通过一致性检验。
WB7=（C20，C21，C22，C23）=（0.2195，0.2343，0.2055，0.3407），CR=0.0039＜0.1，通过一致性检验。
WB8=（C24，C25，C26，C27）=（0.3708，0.2229，0.2071，0.1992），CR=0.0013＜0.1，通过一致性检验。
WB9=（C28，C29）=（0.5802，0.4198），CR=0.0015＜0.1，通过一致性检验。
归一化后层次总排序结果为：
WC=（0.0278，0.0186，0.0455，0.0379，0.0394，0.0606，0.0387，0.0235，0.03，0.0367，0.0531，0.0793，0.0393，0.0301，0.0366，0.0266，0.0101，0.037，0.0205，0.0309，0.0329，0.0289，0.0479，0.0437，0.0263，0.0244，0.0235，0.0439，0.0318），CR=0.026＜0.1，通过一致性检验。
从权重结果来看，社会评价较为重视反映研究生教育质量的指标——人才规格（0.5570），而在人才规格的二级指标中，权重最高的又是“能”（0.1867）和“绩”（0.1603）。可见，社会在研究生教育上更看重能直接体现质量的指标——人才的能力和成绩，研究生教育从“规模扩张”向“质量提高”的战略转移已是社会的迫切要求。
办学情况（0.2528）和公信力（0.1902）两个一级指标下的二级指标中，办学水平（0.1387）、就业（0.1179）、办学条件（0.1141）三个内涵性指标相对于声誉（0.0723）指标更为重要。可见，社会评价在所选择的三个一级指标中，都较为重视内涵性指标，这表明研究生教育质量的提升要从内涵抓起，走内涵式发展道路，即从学生自身抓质量，从学校层面抓办学水平和就业，加强办学条件的跟进。
表6-10 体育学研究生教育质量社会评价指标权重的确立
续表
在各三级指标中，权重排在前3位的是工作质量、体育教育能力和工作数量，表明社会评价很看重体育学研究生的工作业绩和体育教育能力。其次，学科建设水平、师资队伍、就业率、道德素质、专业知名度等指标也是重点关注的内容，表明研究生培养单位要加强学科建设和师资队伍建设，进一步提高研究生就业率和专业知名度，狠抓学生的道德素质建设，为培养社会所需要的人才服务。