(三)案例分析
案例1:语言测试课程调查
Bailey&Brown(1996)和Brown&Bailey(2008)在全球范围内开展了两次关于语言测试课程的问卷调查,了解课程设置、教学内容以及学生对课程的反馈。但是,这两次调查几乎没有来自中国的样本,仅2008年的数据中有两份问卷来自中国。为此,Jin(2010)开展了我国的语言测试课程调查,内容包括任课教师的教育背景、教学经历、教学内容、教学方法,以及学生的看法和教材等。通过对86名教师的问卷调查发现,这些课程虽然较好地覆盖了语言测试理论和实践的主要内容,但是课程很少涉及教育和心理测量方面的最新发展,命题和数据分析的实战操练严重欠缺,大部分教师尚未重视拓展后的整体效度观,对语言测试的社会学问题,包括考试的社会影响和教学后效等探讨不够。
案例2:自动评分对写作教学的影响
为了了解大学英语四、六级考试作文和翻译自动评分对教学可能产生的影响,我们设计了一份测量教师和学生自动评分相关的评价素养问卷,调查了教师和学生:①运用自动评分系统的经历;②对自动评分的认识和理解;③对自动评分的评价和信心;④对自动评分可能产生的教学后效的看法(Jin,Zhu& Wang 2017)。研究发现:教师对自动评分系统的理解和认识显著优于学生;教师和学生对自动评分系统能“读懂”文本的信心不足,对评分的准确性和公平性也有一定程度的担忧;教师和学生都认为自动评分系统的运用可能会对学生的写作动机、写作策略等产生负面影响。这些研究结果对自动评分系统的推广运用具有重要启示。
案例3:工作坊有效性研究工作坊是语言评价素养培训的主要方式之一
工作坊是语言评价素养培训的主要方式之一(Malone 2008)。但是,语言测试领域鲜有关于工作坊效果的实证研究。Jin&Jie(2017)调查了一个为期一周的语言评价培训课程的有效性。研究问题是:①学员对课程各个模块的评价如何?②以前的培训经历对学员的评价是否有影响?③课程是否能有效提高学员的语言评价素养?数据分析发现,学员对课程的整体评价以及各个模块的评价很高,而且以前的培训经历对其评价基本没有影响。研究采用了自行设计的语言评价素养测试,通过学员和对照组的答题数据分析发现,学员在课程相关的评价素养各维度上均有所提高。