分配指标权重的方法
为了使指标权重更准确,最大限度地减少加权过程的主观偏见,人们在实践中探索出多种加权方法,现介绍几种较简单易行的方法。
(一)专家评议法
专家评议法的设计是建立在对专家的权威性、科学性信任的基础上的。专家不是特指某一个人,而是指一个群体。专家评议由一定数量的长期从事教育管理工作的行政人员,有经验的教师以及理论研究、科研人员对指标权重赋值。主要形式是通过会议式议论、评定后提出方案。这一方法的弱点是难以保证议论过程的民主性。由于各类人员的身份、地位,以及与评价工作之间的关系不同,这种会议的讨论、评议会受到一些权威人士或领导等方面因素的影响,从而降低了这一方法的客观有效性。
(二)特尔斐法
特尔斐法也称“专家咨询法”,是以对专家的信任为基础,为了避免专家会议评定的弱点,使每位专家都能独立发表自己的意见和观点,它把指标体系制成用问卷的形式向专家征求意见,问卷用匿名方式经专家判断后寄回,然后由评价方案的设计人员进行汇总,整理之后将结果再发给每位专家,让专家再发表意见,通过多次重复这一做法,最后确定指标的权重。
特尔斐法的步骤是:
1.设计表格,这种表格要根据咨询问题的要求设计。在权数咨询时,应在表格前面附有调查说明,使被调查人明白调查的目的以及评判方法。表格中列出要加权的评价指标,各项指标的权重留出空格,由专家判断填写,如表4-7。
表4-7 专家咨询表

2.整理反馈。专家判断后填好表格,寄回后,评价指标体系设计人员对专家们的意见进行综合,求出每项指标的平均数值。然后,将综合的意见反馈给原来的专家,请他们对综合后的权数平均值,再提出意见。
3.反复咨询。根据第二次反馈的意见,再综合整理,再反馈给原来的专家,请他们再提修改意见。这样反复多次,就能获得比较满意的结果。
从以上特点可以看出,用这种向专家咨询的方法,同权数确立过程的特征比较符合,是目前较为普遍采用的一种确定权数的方法。
(三)层次分析法
层次分析法是美国学者沙叶(A.L.Saaiy)在教学评价中首先使用的一种确定权数的方法。这种方法,在人们经验判断的基础上,采用定性与定量相结合的方法,使判断规范化、数量化,最后通过统计运算,得出指标权数的方法。它是在同一层次的指标中间进行比较、判断的,因此叫层次分析法。
层次分析法,是一种系统分析方法,首先要把问题层次化。根据评价对象的性质和要达到的总目标,将这个总目标分解为不同层次的指标聚集组合。这样一种多层次的分析结构模型,是采用层次分析法的基础条件。
为了使人们判断比较规范化、数量化,层次分析法有它自己的特殊规则——判断矩阵(如表4-8):
表4-8 判断矩阵标度及含义表

层次分析法的理论基础是矩阵理论。对于同层次的若干指标,按照上面的规则进行判断,就会得到一个如下形式的矩阵表4-9。
表4-9 判断矩阵

这个矩阵有两个特征:
1.对角线的数均为1,表明指标自己与自己比同样重要。
2.aij=1/aji,表示第i个指标与第j个指标比较的判断值,应等于第j个指标与第i个指标的判断值的倒数。
这种矩阵的求解比较复杂,计算较繁琐,在中、小学的评价中要使用这种办法比较困难。于是,有一种对层次分析法加以改进的矩阵对偶法(又称0~4对偶比较法),这种对偶比较法为了计算方便,采用了两个改进办法:(1)把判断的等级由1~9九个档次减少为三个档次(同等重要、稍微重要、明显重要);(2)把判断值由既有整数,又有分数,改为一律是整数。这样一来,就给计算带来很大方便。
矩阵对偶法的规则如表4-10:
表4-10 对偶法判断矩阵标号及含义表

假设有甲、乙、丙、丁四项指标,要确定它们各自的权重,可以先制好如下表格,确定各项比较的顺序,如表4-11:
表4-11 (比较前项)

上表中的数字,是各对指标比较的顺序(加圈的数字,是该项比较的另项)。如第一次比较甲和乙,第二次比较乙和丙⋯⋯每次比较后,根据上述标号,对各指标评分,并将分数记在上表的空格内。同时记上配对比较时另一项的相应评分(即加圈的数字处)。如前项与后项相比,是后项比前项重要,则可将前后项交换相比。如第一次甲与乙比,甲并不、比乙重要,而是乙比甲稍微重要,则可在1处记1分,在①处记3分。
现以办学水平评价的四项指标的权重确定为例:当办学条件与管理水平相比时,评判者认为管理水平比办学条件稍微重要,则在①处记3,1处记1;当工作质量与办学条件比,评判者认为工作质量比办学条件稍微重要,则在④处记3,4处记1。这样,将每对都作过比较之后得到以下结果,表4-12:
表4-12 办学水平评价A级指标权数确定表

上表中四项指标的评判分数分别为3、6、7、8,采用归一法,就可算出它们的权重。归一法即是将这些评判分数相加,得到的总分为24。然后,将每项指标的评判分数除以总分,就得到每项指标的权数(Wi)。
可见层次分析法也是对偶比较法的一种,同样是每项指标与其他各项指标相比,得到12个数值。只不过比较后的标度是事先设定的,主观随意性少了一些。
(四)调查统计法
这是一种简便易行且信度较高的方法,步骤如下:
1.先将需要加权的指标随机排列,制成调查表,发给一些有经验的教育工作者,包括行政领导部门,学校的领导、教师、师训工作者。请他们根据自己的看法对每项指标作出很重要、重要、一般、不重要、很不重要的等级判断。调查表的式样可参照“特尔斐法”的调查表。
2.收回调查表进行统计,先统计每项指标被评为相同等级的次数,如120人对“工作表现”评价统计结果,认为该指标很重要100(人次)、重要15 (人次),一般5 (人次),然后计算指标得分。指标得分等于每项指标评为相同等级的次数乘以该等级数值之和。如很重要赋值5,重要、一般、不重要、很不重要分别赋值为4、3、2、1,则工作表现指标的得分为100×5+15×4+5×3=575。
3.计算各项指标得分总和,指标得分总和等于各指标得分之和。
4.通过归一化处理,求得每项评价指标的权重。如表4-13是用调查统计法,通过向120人调查确定中小学教师工作质量评价指标体系中三项一级指标:工作表现、工作成果、基本素质的统计、计算情况。三项评价指标权重:工作表现的权重575÷1290=0.4457=0.45(取小数点后两位),其他两项指标权重通过计算分别是0.45,0.10。
表4-13 权重计算表

确定评价指标权重还有矩阵运算法、主因素分析法等,这里就不作介绍了。
在确定权数时,可以采用以上任何一种方法。也可以几种方法结合起来使用,如经验法与层次分析法结合采用,把主观经验与数学计算结合起来,使指标加权更科学一些,指标的权重更合理。
思考题:
1.建立评价标准要注意些什么问题?
2.你认为哪种标准类型适合你校进行教育评价?
3.加权的意义。试用一个指标体系进行加权。