设计教育评价指标体系的程序和方法
评价指标体系的设计,有很强的政策性和技术性。需要按照一定的程序,采用科学的方法,进行技术处理,才能使指标设计工作有条不紊,设计的指标内容、整个指标体系达到较为理想的要求。设计指标的程序和相应的技术、方法,可参考下面的介绍。
(一)分解目标,提出初拟指标
评价对象确定以后,它本身必然有自身的价值判断目标。这种目标,一般是比较原则、概括的。必须对其要素(因素)加以分析,进行分解,实现微分化。分解时要遵循设计指标的原则,一层层分解下去,直到分解成可测的指标为止(一般分解为三个层次,第一层次、第二层次、第三层次分别称为一级指标、二级指标、三级指标。有的把可直接测量的第三级评价指标称为评价因素或直接化为评价标准)。这样,就完成了一个初拟的指标体系。提出初拟指标时,一般较为注意指标的科学性、完备性,唯恐挂一漏万,包罗不尽。因而,这些指标不仅是较为粗放的,数量也可能是比较多的。比如,某市教育局,在拟订学校领导班子评价指标时,分两个层次提出16项指标:
A1 政治素质
B1 思想理论和政策水平
B2 思想品德修养
B3 事业心,责任感
A2 业务素质
B4 文化专业达标
B5 教育理论修养
B6 管理实践经验
A3 工作效能
B7 职务与能力相称
B8 分工明确,恪尽其责
B9 团结协作
B10 指挥灵活
B11 工作效率高
A4 工作作风
B12 深入实际
B13 发扬民主
B14 决策果断
B15 以身作则
B16 开拓精神
初拟指标的提出,一般经过集体研讨,专人起草,再经过集体讨论修改而成。这个阶段分解指标,多凭各人的工作经验和理论素养,各抒己见。
(二)归类合并,进行筛选
在初拟指标所分解出来的因素中,有的能反映评价对象的本质,有的则未必;有的是主要因素,有的是次要因素。各因素之间可能出现交叉、重复、包含、矛盾、因果等关系,也难以避免。因此,必须对初拟指标进行归类合并和筛选,以达到“少而精”的要求。经过对初拟指标的归类合并和筛选,可以使指标项目得到精简,指标质量得到提高。不仅便于施评,也能保证评价的有效性,这是设计指标体系具有关键作用的一项十分重要的工作。筛选指标可以用以下方法:
1.经验法
经验法是凭设计者的学识修养和工作经验进行筛选的一种简便实用的方法。一般参照指标设计的原则,对初拟指标进行归类合并,适当增删。要掌握以下几个要点:
(1)理由是否充分或必要:判断每项指标是否是必要,缺了它有什么不好,保留它有什么理由。被保留的要有充分的依据,它在指标体系中,是不可缺少的因素。
(2)取主舍次:区分每项指标反映评价对象本质的程度,保留能反映本质的主要因素,舍弃不能充分反映本质的次要因素。
(3)从各指标之间的关系上进行比较。内涵相同或近似的指标要合并;内容交叉的,保留其中一项;有因果关系的,保留“因”而去掉“果”;相互矛盾的,选留既符合方针、政策规定,又切合当地实际的指标。
(4)去难存易,删繁就简。难以测量的指标,应该舍去。指标内涵复杂的,尽量求其单一。
经验法主要凭设计者自身的经验,科学性、客观性要差一些。
2.调查统计法
这是在调查获取资料的基础上进行统计的方法。其具体做法是:把初拟指标制成问卷,发给有关专家和有经验的教育工作者,请他们对每一项初拟指标作出判断。一般分为五档:很重要、重要、一般、次要、不要。被调查人对指标作出判断,并在相应档次打“√”。然后收回问卷,统计“很重要”“重要”两档的人数比例(百分比),按评为“很重要”、“重要”人数比例的高低顺序排列,把低于某数值的指标删除(多采用两项人数比例的和在1/3或3/4为分界),就得到经过筛选的指标。如前例:某市教育局评价领导班子的16项指标,分为5档,征询38位中学校长的意见,其结果如下:

如将评为“很重要”、“重要”所占比例低于67%(2/3)的指标删除,就得到前12项指标。再将筛选出的12项指标,按上一级4项指标归类,则可得政治素质3项指标(1、3、11),业务素质2项指标(2、10),工作效能3项指标(5、8、9),工作作风4项指标(4、6、7、12),重新构建领导班子评价指标体系。
完成指标体系的构建还要经过质量检验、试评、修改三个步骤。一个具有较高科学性和可行性的评价指标体系,还应经过信度和效度的检验,即质量检验。经质量检验后的指标体系,还要进行试评。在一个地区内选择一二个有代表性的评价对象(学校、学生、教师)进行试评,从中发现评价指标体系的不足和问题,及时进行修订(包括指标、标准、权重、评价方法等)。这样形成的评价指标体系质量就较高。