7.4.3 影响信度和效度的因素以及相互关系
概而言之,影响信度和效度的因素主要与测量工具、测量环境和时间、主测和被测等因素有关:
第一,测量工具就是根据概念操作化建立的一套测量指标或“量器”。一套测量的指标越多,即测量问题或项目越多,测量的信度就越高,但是由于测量的项目很多,被测试者所花的时间也更多,会影响到被测试者的情绪,导致敷衍了事,草草完成测量,从而影响测量的信度和效度。因此,在把握测量项目的数量时要兼顾信度和效度的统一。一个基本原则是,在保证测量信度的基础上,最大限度地保证测量的效度。其次,对效度影响最大的是测量指标是否严格按照概念操作化的方法设计,从理论定义到操作化定义再到指标是否一致,测量指标的设计是否符合概念内涵和经验观察。
第二,测量环境和时间。一个比较好的测量环境应该使被测试者能够自己独立完成全部测量,尽可能减少外在因素的影响,例如与其他人商量,或者其他人在旁边指指点点;尽可能保持安静,不能吵吵闹闹,或者有噪声干扰;测量最好在温度比较适宜的环境下进行,过冷过热都不利于测量;对于再测信度来说要注意两次测量的间隔时间,时间间隔过长或过短都会直接影响到测量的可信度,复本信度的检验最好同时完成多个复本的测试,不要间隔很长时间。
第三,主测和被测,即测试者或调查员和被测试者。作为测试者来说要严格按照样本名单进行测试,不能擅自选择样本以外的人进行测试;采用自填方法的,测试者事先要说明填写方法和注意事项,对量表或问卷上的问题或概念要按照有关说明用准确和通俗的语言进行解释,不能按照自己的理解进行解释,研究者要提供对问题和概念进行说明的统一范本;采用访问方法的,调查员要根据量表或问卷上的问题逐个提问,当把书面语言用口头语言表述时,要准确理解问题的意义,既要注意语言的通俗性,也要注意语言的规范性;当被测试者有厌烦情绪时,要耐心地进行解释,求得他们的谅解和配合。
被测试者组成的样本差异性越大,越能充分地检验测量的信度和效度。以大学生群体为例,仅仅测量其中的文科学生与测量全部专业的大学生相比,测量信度和效度的充分性相对较低。或者说,对于信度和效度检验的可靠性在很大程度上取决于样本的差异性,样本的差异性越大,信度和效度检验的可靠性也越大。被测试者的教育程度、对问题或概念的理解能力以及测量时的态度也会影响到信度和效度,如果被测试者的教育程度较低,对问题或概念的理解能力较差,或者不愿意配合测试、不愿意表露自己的真实想法或真实情况的被测试者占了相当的比率,测量的信度和效度肯定很低。
此外,测量的信度和效度还受到资料处理质量的影响,如果在填写、编码、登录、输入过程中发生比较多的差错也会影响测量的信度和效度。但是这样的差错一般可以通过一些技术手段降低到最低程度。
信度和效度的关系是一个矛盾的统一体。一般来说,信度是效度的必要条件,也就是说任何测量的效度都必须建立在信度的基础上,没有信度的效度是不可靠、不可信的;但是任何测量都必须有效度,没有效度的测量,即使它的信度再高,这样的测量也是没有意义的。因此,效度又是测量的基本条件或充分条件。例如,当用职业声望、收入水平、教育程度去测量社会地位时,10次测量中只有1次是准确的,其他9次都是不对的,测量的信度就很低,可以被认为是没有信度的测量,因为测量的稳定性很低。如果用性别、婚姻状况去测量社会地位,10次测量中9次的结果都表明性别、婚姻状况和社会地位有关系,虽然测量的稳定性即信度很高,但是这样的测量是无效的。因为,无论从社会地位的理论定义还是从社会地位的操作化定义看,采用性别和婚姻状况去测量社会地位既不符合日常生活的经验,也不符合有关社会地位的理论解释。就如在产房里观察到,在某一时段产妇生产的婴儿性别或者全部是男婴,或者全部是女婴,但是不能说婴儿的性别与产妇的分娩时间有关。
测量如同射击,靶子如同需要测量的“概念”,子弹就是测量“指标”,射手就是“测试者”,测量将会产生以下几种情况(见图7-3) : (1)既有信度又有效度的测量,就如射击一样,10发子弹全部击中靶心。这是测量的最好境界,也就是说,对某个抽象概念的测量既符合经验事实又和原先的理论解释是一致的(见图A) ; (2)既无信度也无效度,10发子弹散布于靶上,甚至有的脱靶。这样的测量是最糟糕的,在社会测量中要极力避免这样的情况出现(见图B) 。 (3)有信度但无效度,10发子弹全部打在靠边缘的那个点上,虽然这位枪手射击的稳定性很高,但是很可能在某些环节上出了差错,例如瞄准时眼睛的聚焦出现偏差,或者枪的准星有问题(见图C) 。这样的测量对调查研究来说是没有意义的,就如前面讲的“性别、婚姻状况和社会地位”的例子,即使经过100次调查,样本调查结果的婚姻状况都是一样的,信度系数为1,但是婚姻状况和社会地位是两码事,不能用婚姻状况去测量人的社会地位高低。(4)无信度但有效度,这样的情况无论在理论上还是在经验生活中都是不存在的,一个不可信的测量是无效的。如果发生这样的情况,我们也会说“这是蒙的”,就像一个不会射击的人,偶尔也会有上佳表现,但这是偶然发生的,是他“蒙对了”,我们不会因为他偶然的上佳表现而说他是“神枪手”。
图7-3 信度和效度关系示意图