二、项目分析
将79个题项的高校辅导员职业韧性问卷,加上指导语后,开展小样本预实验。问卷为自评,让被试评估自身对各条目的认可程度。项目采用李克特五点记分制,5—1分,分别代表“非常同意”“比较同意”“不置可否”“不太同意”“非常不同意”,得分越高表示辅导员职业韧性度越高。指导语如下:
尊敬的辅导员老师:这项调查旨在了解我国高校辅导员的职业适应与发展状况。以下条目描述的是与工作压力有关的心理适应状态。大约需用时15分钟左右。调查为匿名。所有信息仅做研究使用,不会用作他途。答案没有对错好坏之分,您真实与客观的评价将决定研究结果的科学性。所有条目为单选。请在选项对应空格中打“√”。
回收后的数据情况见样本1,通过项目分析进一步精简条目。
项目分析的主要目的,就是检验所编制量表的各个题项是否可靠,通常以项目分析的结果为参照标准,筛选或修改题项。本研究项目分析主要采用3种方法:临界比值法、题总相关法、同质性检验法[4](见表3-1)。
表3-1 量表项目分析的检验方法
方法一:临界比值法
一个好测验的首要标准就是要有良好的区分度,即当某题项能够将高分组与低分组参与者的反应区分开来时,就意味着这个题项的区分度是理想的。临界比值(critical ratio,CR),也叫极端组比较法,是以量表总分前27%与后27%的差异比较,其差异值称为决断值。通常以独立样本t检验的t值来表示,t值愈高表示题目的鉴别度愈高。
采用临界比值法的项目分析共有6步:
第1步,求出量表总分;
第2步,量表总分高低排序;
第3步,找出高低分组上下27%处的临界分数;
第4步,依临界分数将量表得分分成两组;
第5步,求决断值;
第6步,鉴别未达标题项。
根据极端组比较法来删除题项的标准有3个:①决断值检验未达显著(即p>0.05)的题项;②当临界比值的t统计量小于3.000,表明该题项鉴别度较差;③当t统计量为负值时,表明该题项不具有鉴别性。
采用临界比值法对高校辅导员职业韧性预实验问卷的79个题项做项目分析的结果显示,鉴别度未达标的题项共有6个:①有2个题项检验的t统计量未达显著水平,其中第34题的t值为0.376(p>0.05),第36题的t值为0.223(p>0.05)。②第62题的t值为-7.726<0。③t统计量小于3.000的题项有3个,分别是第26题(t=2.800)、第43题(t=2.743)、第59题(t=2.069)。此轮法累计不达标频次有6次(具体见表3-2)。
方法二:题总相关法
用相关分析法来检测每个题项与量表总分的相关程度,通常选择积差相关系数来表示。相关系数越高,表示题项与整体量表的同质性水平就越高,这就意味着所要测量的心理特质或潜在行为的接近度越高。如果题项与总分的相关系数未达显著,或低度相关(r<0.400),则表示该题项与整体量表的同质性不高,建议删除[5]。
结果显示,相关未达显著水平的题项有2个:第34题(r=-0.150,p>0.05)、第36题(r=-0.116,p>0.05);第62题与量表总分的相关为负(r=-0.478,p<0.01);低度相关(r<0.400)的项目有10个;第10题(r=0.384,p<0.01)、第12题(r=0.386,p<0.01)、第26题(r=0.211,p<0.01)、第30题(r=0.361,p<0.01)、第42题(r=0.306,p<0.01)、第43题(r=0.232,p<0.01)、第47题(r=0.380,p<0.01)、第48题(r=0.302,p<0.01)、第49题(r=0.191,p<0.05)、第59题(r=0.249,p<0.01)。此轮累计不达标频次有13次(具体见表3-2)。
方法三:同质性检验法
同质性检验先后采用两种方法进行,其一是信度检验,其二是因素分析[6]。
信度检验是项目分析的重要一环。此时信度检验的目的就是查看,当删除了某个题项后,量表整体的信度系数有什么变化。如果删除题项后,总量表的信度系数显著高于题项未删除之前的信度系数,这就表示所删除题项表示的心理属性与量表所要测量的心理属性很可能是不同的。简言之,所删除题项与量表中的其他题项是异质的,或者其同质性较低,应考虑删除。
结果显示,高校辅导员韧性预实验问卷的内部一致性α系数(Cronbach's Alpha)为0.938,表示79个题项的内部一致性佳(α指标值:大于等于0.800),该量表的测量误差低。从项目整体统计量来看,有2个统计量需要关注,分别是修正的项目总相关和项目删除时的Cronbach's Alpha值。修正的项目总相关是该题项与量表总分(不含本题项)的积差相关,若为低度相关(r<0.400),则应考虑删除该题项;项目删除时的Cronbach's Alpha值是删掉该题项后的量表内部一致性[7],若α值不减反增,表明该题项所测的心理特质与其余题项所测不同质,应考虑删除该题项。
结果在修正的项目总相关上,低度相关(r<0.400)的项目有:第5题(r=0.378)、第10题(r=0.346)、第22题(r=0.388)、第25题(r=0.393)、第26题(r=0.181)、第27题(r=0.383)、第30题(r=0.329)、第31题(r=0.392)、第34题(r=-0.051)、第36题(r=0.082)、第42题(r=0.355)、第43题(r=0.201)、第47题(r=0.356)、第48题(r=0.273)、第49题(r=0.160)、第58题(r=0.381)、第59题(r=0.222)、第62题(r=-0.505)、第63题(r=0.392)、第78题(r=0.393)。在项目删除时的α值上,α值不减反增的项目有:第34题(α由0.938变为0.939)、第36题(α由0.938变为0.939)、第62题(α由0.938变为0.941)。此轮累计不达标频次有20次(具体见表3-2)。综上,采用临界比值法、题总相关法与信度检验法共删除21个不符合条件的题项。
表3-2 辅导员职业韧性预测量表之删除题项的项目分析结果
续表
然后再采用因素分析法继续做项目分析,进一步精简优化条目。因素分析过程是一个不断删减、调整题项,直到建构一个较为合理可接受的因素效度的过程。采用因素分析排除题项的标准有:①共同性(commonalities)低于0.20,共同性表示题项能解释共同心理特质或属性的变异量,共同性越高表明能测量到该心理特质的程度越多,反之可考虑删除;②因素负荷量(factor loading)在0.30以下,因素负荷量表示题项与共同心理特质的密切程度,负荷量越高说明该题项与总量表的关系越密切,反之则应考虑删除;③具有多重因素负荷的题项,且两个负荷量的差值小于0.2;④难以合理解释与因素关系的题项。此轮共删除不达标题项26个。
至此,采用三种方法历经四轮的项目分析后,共保留32个有效题项,由其形成高校辅导员职业韧性量表,展开全国性的大规模取样调查,进一步检验量具的信度与效度。具体流程见图3-4:
图3-4 高校辅导员职业韧性量表的信度与效度分析流程图