10.2.7 实验步骤
在社会研究中,实验法是最接近自然科学的研究方法,能直接测量因果关系。实验研究的基本逻辑就是根据研究目的引进自变量(x),经过实验,观察因变量(y)是否随着自变量的变化而发生变化。因此,在标准实验中,实验前要对实验单位或实验对象(实验组和控制组)的状况或某些特征,即因变量进行测量(前测),引入实验变量即自变量后,观察实验单位特征是否发生变化(后测),然后比较前测和后测的结果。例如,对于农民工的性健康教育实验中,“引入的”实验变量(自变量)是“教育方法或手段”,经过实验,比较实验前和实验后民工性健康知识的差异。对于白领同情心的现场实验中,“引入”的实验变量或实验刺激是乞丐的“乞讨行为”,通过现场观察比较白领和普通行人的同情心的高低。对于人们行为方式的自然实验,“引入”的实验变量或实验刺激是“SARS危机”,通过访问了解SARS危机是如何影响人们的日常行为的。在更复杂的一些实验模式中,如完全随机设计、随机区集设计、拉丁方格设计等,虽然没有明确区分实验组和控制组,也没有所谓的“前测”,但是通过统计分析方法,可以发现哪些实验变量更有效,更具有推论意义。
在不同的实验方法中,虽然每一类实验的步骤有些差别,例如,标准试验及其变形和比较复杂的实验方法,具体的实验步骤就有些不同,但是基本的实验步骤都包括以下部分。
10.2.7.1 选择实验变量
实验变量即实验因子或刺激物。实验变量必须与研究课题有关,实验变量的引进,对于研究对象会产生新的变化。因此,在选择实验变量前,首先必须对实验单位及研究对象的各种因素之间的相互关系进行初步研究,寻找哪些因素对实验对象的变化可能有着重要的影响,那些对研究对象起着重要影响的因素就有可能成为实验变量。实验变量选择的具体方法与一般实证方法相似,也要在文献梳理和对现实生活观察的基础上,建立自己的理论分析框架及研究假设。
其次,实验变量比其他实证研究方法更强调概念的操作化。由于实验方法更为关注经验层面的现象,其方法实质就在于通过观察发现在实验过程中经验层面发生的变化,因此,实验变量一般是在经验层面能够直接观察到的,是一种具体的经验现象。但是,需要注意的是,实验研究不是对经验现象简单、直接的描述,而是希望通过实验,使经验研究上升到一定的理论高度,因此建立抽象理论概念到经验变量之间的关系是非常关键的。
第三,实验变量有时可以是一个,但是在多组实验和随机设计实验中,实验变量可以是几个。在多组实验中,主要比较几个实验变量的效用,在随机设计实验中,实际上是一种多因素分析方法,即通过统计分析,确定具有推论意义的实验变量。
10.2.7.2 选择实验组和控制组
在实验研究中,实验组是接受实验变量刺激的一组对象,控制组是与实验组相对照的一组对象,也称为对照组,控制组一般不接受实验对象的刺激。控制组的设置可以在一定程度上控制外来变量对实验的影响,也就是说假定实验组和控制组受到外来变量的影响是一样的。在标准实验中,实验组和控制组各有一个;在多组实验中实验组可以有两个或三个,当然也可以更多一些;在所罗门实验模式中可以根据需要设置两个或三个控制组;在随机设计实验中,实际上已经没有实验组和控制组之分,所有参加实验的对象都是实验组,主要是运用统计推论方法分析作用于每个实验组的实验变量是否具有统计推论意义。
在标准实验及其变形模式中,实验组和控制组应该具有较高的同质性,即实验组和控制组成员的基本特性是相似的,从而避免因为实验组和控制组成员的较大差异对实验带来的影响。例如在研究不同的教育方法影响性健康知识普及效果的实验中,如果实验组成员是由农民工组成,控制组成员是由大学生组成,实验是无效的,因为大学生和农民工在文化素质上差异太大了,两者根本无法比较。为了保证实验组和控制组具有较高的同质性,在选择实验组或控制组成员时主要有两种方法:匹配法和随机法。匹配法就是第6章“抽样方法”中所介绍的“配额抽样”方法,它是根据实验组成员的基本特征,按照主观判断方法选择与此相匹配的一组或几组成员。例如,可以根据实验组成员的性别比、年龄结构、教育程度、收入等变量选择与此相匹配的一组或几组成员。但是,匹配法只能在成员的主要特征变量上进行匹配,而不能穷尽所有的特征变量,并且匹配法是一种非概率抽样,不能进行统计推论。因此,随机法可能是一个更好的选择。随机法可以采用简单随机方法中的抽签法,如采用抛硬币的方法,出现正面的可以规定为实验组成员,出现反面的可以规定为控制组成员,或查对随机数表进行抽样。
在完全随机设计、随机区集设计和拉丁方格设计实验中,虽然不再有实验组和控制组之分,尤其是在随机区集设计和拉丁方格设计实验中,事先控制了实验组的外在差别,但实际上也就承认实验组之间是有差别的,也就是说事先承认不同实验组的外在差别会影响到实验对象。例如在拉丁方格实验设计中,事先控制了实验组所在区域、类型上的差别。但是,在对每个实验组成员的选择上仍然必须采用随机方法,从而保证随机样本对于所属总体的代表性。另外,在随机区集设计和拉丁方格设计实验中,需要控制一到两个外来变量,因此在实施抽样时,主要采用多阶段抽样方法。例如在随机区集设计和拉丁方格设计实验的例子中,为了控制不同城市或工地类型对实验的影响,需要采用三阶段抽样方法,即分为“城市——工地——实验组成员”三个阶段的抽样过程,第一和第二阶段可以采用分层抽样方法,第三阶段可以采用简单随机抽样方法。
无论是实验组和控制组的设置,还是实验组或控制组成员的抽样方法,它们的主要目的都是为了尽可能减少或者控制外来变量对实验的影响。为了进一步减少或控制外来变量的影响,如果有条件的话尽可能使不同实验组或控制组在空间上分隔开来。例如,可以把一个工地所抽取的农民工作为实验组,把另外一个工地所抽取的农民工作为控制组,尽可能减少不同组别的成员相互交流的机会。
10.2.7.3 测量
测量实际上就是收集资料的过程,测量方法主要是量表或问卷调查和现场观察。对于现场实验来说,测量方法就是现场观察,并且把观察结果记录下来。在现场观察中,如同结构式观察一样,事先要设计好结构式观察表格,确定观察地点、时点、持续时间及间隔时间,以及观察者人数、观察角度等。除了现场实验外,大多数实验研究的测量采用的是量表或问卷调查,量表或问卷设计的要求和一般的调查研究差不多,但是问题更集中、更具体,也较简短。另外,由于实验研究的样本一般都比较小,为了提高测量的信度,可以采用多次实验或者多次测量的方法。
在标准实验及其变形模式中,测量可以分为“前测”和“后测”,但是完全随机设计、随机区集设计和拉丁方格设计实验中只有一次测量,即“后测”,这些实验设计的主要目的是要分析实验变量是否具有推论意义,而不是比较两次测量的差别或者分析经过实验“刺激”后因变量的转化率。
10.2.7.4 分析
实验研究的分析方法主要是统计分析。标准试验及其变形模式的统计分析的方法非常简单,基本上采用算术统计方法,因此有一些学者认为,这样的实验模式是非正式试验。完全随机设计、随机区集设计和拉丁方格设计实验模式的统计方法相对复杂一些。但是,一般来说,社会研究中的实验统计方法都不是很复杂,这或许是因为社会研究中的实验方法相对比较简单,很多复杂的社会因素还很难转化为可以观察的变量,而且实施大样本的实验研究非常困难。
思考与练习
1.文献梳理和文献研究有什么区别?
2.文献研究中的“文献”主要是什么?
3.从报刊上随机抽取20世纪80、 90年代和2000年以后的征婚广告若干份,采用内容分析方法研究不同年代的择偶标准有什么不同。
4.在你阅读过的著作或研究报告中,哪些是采用历史研究方法的,请举例说明。
5.实验研究方法有哪几种类型?
6.简述实验研究的基本步骤。
7.如果学校正进行某项教育改革的实践,请追踪这项改革实践的效果,并且从实验研究的角度分析这项改革应该如何进行。
8.从社会科学学术刊物上(社会学、心理学、教育学等)查找发表的实验研究报告,并分析具体的实验过程和结果(自变量、 因变量、实验对象、实验方法等)。
【注释】
[1]对内容分析方法更详细的介绍可参看2014年出版的《传播学内容分析研究与应用》(周翔著)一书。
[2]例如美国的“综合社会调查” ( General Social Survey, 简称GSS)数据库就向社会开放,研究者可以无偿使用相关数据进行研究。我国中国人民大学和香港科技大学建立的“中国综合社会调查”(CGSS)数据库于2005年向社会开放。
[3]有的学者把利用经过整理后的统计数据再分析,单列为“现存统计资料分析”,不包括在二次分析之内(参见风笑天《社会学研究方法》,中国人民大学出版社2001年出版)。
[4]中国社会学比较熟悉的卡尔·波兰尼的“在转型”理论和道格拉斯·诺思的“路径依赖”理论,都是基于对欧洲经济史的详尽考察获得的。