语言评价素养理论框架
2.1 评价素养与语言评价素养的定义
自美国学者Rick Stiggins于1991年提出评价素养（Assessment Literacy）这个术语以来，已经过去约三十年的时间。在这期间学界对于评价素养的关注度不断提高。由美国教育研究协会、美国心理学协会和国家教育测量理事会主编的《教育与心理测试标准》（Standards for Educational and Psychological Testing）被认为是教育测量领域的纲领性文件。第七版《教育与心理测试标准》（AERA, APA & NCME，2014）首次对评价素养作了论述。该标准将评价素养定义为“关于良好的评价实践原则的知识，包括对术语的理解，对评价开发和运用的方法论、技术的理解，以及对评价实践质量评估标准的熟悉”（192）。在该标准的术语表中，再次对评价素养进行了界定：“支持针对预期的目的而产生的测试分数的有效解释的知识，例如关于测试开发实践的知识，关于测试分数解释的知识，关于威胁有效的分数解释、分数信度和精确度与测试实施、使用的因素的知识。”（216）
一些学者对评价素养也提出明确的定义。Popham（2011）认为“评价素养包括教师对被认为可能对教育决策产生影响的评价基本概念和程序的理解”［着重号为原文所加］。Popham对定义中强调的部分做了详细的解释。首先，“理解”的意思是拥有评价素养的教师不需要实际计算难懂的测试信度系数等，而是要能够理解测试信度的涵义，以及不同的信度系数怎样以不同的方式表征测试的一致性。基本的理解就是评价素养的基本要素，并不是要掌握那些深奥的测量程序。“评价基本概念和程序”指的是那些最核心的评价内容，比如“效度”和“测试偏颇”等评价中最基本的概念。“可能对教育决策产生影响”界定了教师需要了解的评价内容的范围，就是在日常教学中帮助教师做决策的评价方面的内容。Popham近年又将评价素养界定为“包含个体对基本的评价概念和程序的理解，这些概念和程序被认为很可能会影响教育决策”（2017：25）。
语言评价素养（Language Assessment Literacy，LAL）近年来得到学术界的高度关注，与评价素养被关注的背景类似，语言评价素养在测试文化向评价文化转变的过程中突显出来（Shepard，2000；Inbar-Lourie，2008a），同时它也显示了在语言测试近年来更加关注其社会维度（包括语言能力的界定和语言测试的社会影响）的过程中（McNamara & Roever，2006），语言学习和评价应该采取的建构主义社会文化路径。学者们关注语言评价素养与评价素养之间存在怎样的差别使得语言评价素养可以自成一体。（Inbar-Lourie，2013）他们认为语言评价素养与评价素养的主要差别在于“语言”这个重要的元素在语言测试知识中的关键角色。自Taylor（2009）对评价素养进行讨论以来，语言测试领域的学者们也尝试对语言评价素养做出界定。笔者收录了在现有的语言评价素养研究中比较有代表性的定义，如表2.1。
表2.1 语言评价素养定义概览
在上述的定义中，Fulcher（2012）的定义最全面，它从实践、原则、环境三个层面对语言评价素养进行界定，但是与其他定义相比，也有一些不足。如他并没有强调语言的角色，其定义也适用于普通教育学的评价素养。他没有强调反馈的作用，没有强调如何让学生参与评价。针对这些缺点，并结合上文讨论，笔者提出本书针对一线语言教师的语言评价素养的定义：语言评价素养指的是对所教授的语言和语言学习有较为全面深刻的理解，拥有设计、开发或评估语言课堂评价的基本知识、技能和能力，对语言评价过程熟悉，能意识到语言评价实践背后的原则和概念，能让学习者积极参与到语言评价过程中，能运用恰当的反馈来有效地让学习者设定并达到学习目标，并能良好地理解特定的教学环境中语言评价的角色和功能。
2.2 中小学英语教师语言评价素养理论框架
在多年的研究中，研究者们有的描述了高质量的课堂评价框架，有的直接探讨评价素养包含的内容，产生了教育评价中的教师能力标准等重要文献。本节首先对其中有代表性的课堂评价框架进行呈现、对评价素养构念探究进行概述，然后对语言评价素养构念的研究进行综述。在此基础上，本节尝试提出中国中小学英语教师语言评价素养理论框架，并围绕此理论框架提出语言教师评价素养的参考点，为后文的语言评价素养条目研发提供理论基础。
2.2.1 高质量课堂评价的框架
要探究评价素养的构成，首先需要考察高质量的课堂评价都包含哪些方面的内容。Stiggins及同事（2006）将课堂评价分为两大部分：准确的评价和高效的运用。准确的评价包含清晰的目的、明确的目标和良好的设计三大要素；高效的运用包含有效的传达和学生参与两大要素。在图2.1中，准确的评价三要素均用虚线指向学生参与，意为这些环节均可以让学生参与。
图2.1 高质量的课堂评价框架（改编自Stiggins et al.，2006）
Chappuis & Stiggins（2017）在大量研究的基础上，进一步提升了学生参与在高质量评价中的地位。他们将高质量的课堂评价简化为四大要素，即清晰的目的、明确的目标、良好的设计和高效的传达。高效的传达与清晰的目的之间是互动关系。首要的原则是学生参与在四大要素中起到关键作用。关于要素一，学生作为教育决策的核心部分，如果他们没有成为主动的学习者，任何教育决策将没有作用。关于要素二，在学习的开端，学习者就应该被告知学习目标，以引导他们的努力方向。关于要素三，教师所设计或选择的评价应该成为学生自我评价的基础。关于要素四，教师应给予学生时间来让他们跟踪、反思和分享他们的学习成果，让他们不断在进步的道路上前进。
图2.2 修订版高质量的课堂评价框架（改编自Chappuis & Stiggins，2017）
在外语领域，Davison & Leung（2009）对外语教师课堂评价进行了论述。她们指出外语课堂评价与其他类型的评价相比，突出的特征体现在：
● 从规划评价项目，到确定和／或开发恰当的评价任务，到做出评价判断，教师从始至终参与评价的所有过程；
● 它允许使用不同的任务和活动，在长段时间内收集大量的学生作品样本；
● 它可以被教师改编或调整来匹配被评价的班级或学生的教学目标；
● 它可以在普通的教室开展，而不需要专门的评价中心或考场；
● 它由学生自己的教师开展，而不是陌生人；
● 它使得学生更加积极地参与到评价过程中，特别是自我评价、同伴互评和教师评价多管齐下；
● 它使得教师有机会支持学习者主导的探究式学习；
● 它允许教师为学生提供及时的和建设性的反馈；
● 它刺激持续性的教学评估和调整；
● 它是其他形式的评价的补充，包括外部大规模标准考试。
Davison & Leung（2009）提出了外语课堂评价框架（图2.3）。框架的中心部分基于课程标准、校本课程和学生情况将教、学、评紧密地联系在一起。围绕中心，外语课堂评价共有四个阶段：规划评价、收集关于学生学习成果的信息、做出专业判断和提供恰当的反馈或建议。每个阶段均需要详细的记录，并且需要深入考虑为什么、关于谁、是什么、如何做、何时做、在哪里做等问题。笔者认为，该框架为教师的语言评价素养的讨论提供了重要的理论基础。
图2.3 外语课堂评价框架（改编自Davison & Leung，2009）
2.2.2 评价素养的构念探究
关于评价素养的构念探究，笔者认为最重要的贡献体现在各类标准中，其次是学者们的理论建构和调查研究成果。在本书附录二中，笔者将各种标准与学者们的成果的核心部分进行了翻译和呈现。目前为止影响最大的仍然是美国教师联合会、国家教育测量理事会和全国教育协会联合颁布的《学生教育评价中教师的能力标准》（AFT, NCME & NEA，1990）。美国教育评估标准联合委员会于2003年推出的《学生评估标准：如何提高对学生的评估》以及2015年推出的修订版《幼儿园到高中教师的课堂评价标准》对教师课堂评价标准做了权威的规定。此外，还有一些重要的文献，如美国测试实践联合委员会于2004年发布的《教育公平测试实践规范》（修订版），英国评价改革小组（2008）提出的课堂评价实践标准，加拿大联合咨询委员会于1993年发布的《加拿大学生教育评价公平实践原则》包含的课堂评价标准，美国外语教学委员会和美国教师培养认证委员会于2013年联合发布的《外语教师教育培训标准》，《教育与心理测试标准》（AERA, APA & NCME，2014）中的基础和测试操作标准。
国际上学者们对评价素养的构念也做了探讨。Brookhart（2011）针对《学生教育评价中教师的能力标准》（AFT, NCME & NEA，1990）中缺乏对基于标准的教学和形成性评价的兴起的考虑，提出了教师教育评价知识与技能框架；美国学者W. James Popham（2009）提出了教师评价素养培养大纲；Stiggins（2010）提出高质量课堂评价中的教师行为指标；McMillan（2000）探讨了教师课堂评价的基本原则；Chappuis及同事（2012：11）提出教师课堂评价能力，他们还对课堂评价素养的构成做了详细的描述（见图2.4），包括准确的信息和有效的使用两大方面；Gareis和Grant（2015）讨论了教师评价素养的内涵，认为它包含八个方面的内容，详见本书附录2.14。
图2.4 课堂评价素养构成（改编自Chappuis及同事，2012）
2.2.3 语言评价素养构念
到目前为止，关于语言评价素养构念的探究主要有学者规约性的论述（如Bachman & Palmer，1996；Brindley，2001）和对语言测试课程的调查研究（如Bailey & Brown，1995； Brown & Bailey，2008；Jin，2010）。
Bachman和Palmer（1996：9）列出了语言教师在语言测试方面应该拥有的五项能力，包括：（1）不管是从零开始设计新的测试还是选用现有的测试，在任何语言测试进行之前，教师都应该对语言测试的基本概念有所了解；（2）教师要了解恰当地运用语言测试可能涉及的基本问题和关注点；（3）教师要了解测量和评估中的基本问题、路径和方法；（4）教师要能够根据具体的目的、环境和考生特点，设计、研发、评价和使用语言测试；（5）教师应该能够批判性地阅读语言测试方面的研究和已经出版的测试试题，以此来做出客观的决策。Brindley首次提出了语言评价与教师的职业发展问题。他圈定了教师在评价方面需要接受的五个方面的培训。第一，评价的社会环境；第二，界定和描述语言水平；第三，命制和评价语言测试试题；第四，语言课程中的评价；第五，将评价付诸实践。其中他认为第一点和第二点是核心单元。（Brindley，2001：129—130）Davies（2008）对过去五十年的语言测试教程进行了分析。他发现，语言测试教材发展的重要趋势是从原来的“技能＋知识”转变到今天的“技能＋知识＋原则”。他对这几个方面的解释如下：技能指的是必要的方法，如编写题目、数据处理、试题分析、测试施行和报告；知识指的是测量学知识、语言知识和教学环境，包括语言学习模式、教学模式、交际语言测试、社会文化理论等；原则指的是语言测试的恰当运用、测试的公平性和影响，包括测试中的伦理问题和专业化问题。随着研究的深化，评价素养构念探究向更加细致的方向发展，如Lee（2017：150）论述了写作教师课堂评价素养内涵，并特别提出反馈素养。
语言测试领域的学者们还探讨了不同利益相关者对语言评价素养的不同掌握程度需求（见图2.5），本书聚焦的一线语言教师属于这个分层中的第二层，即“周边”人才，他们不需要专业命题人员那么高水平的语言评价素养，但是对语言评价素养的掌握也需要达到中等程度，能够在语言教学环境中做出明智的决策，促进学习者的语言学习。Taylor（2013）还从理论构想方面提出一线教师语言评价素养包含的方面及需要掌握的程度（见图2.6）。其中要求最高的是教学法。虽然Taylor在文中没有对具体的维度进行界定，但是笔者认为这里的教学法应该有别于教学方法，如任务型教学法，它应该指的是教师形成性评价的具体做法，如教学目标的设定与细化、教学活动的设计、教学效果的评估等。
图2.5 不同利益相关者对语言评价素养不同掌握程度的需求（改编自Taylor，2013）
图2.6 一线教师对语言评价素养掌握程度的理论构想图（改编自Taylor，2013）
Pill & Harding（2013）勾画出语言评价素养连续体。如表2.2所示，将语言评价素养分为五个等级。笔者认为这个连续体的构建以及不同利益相关者对语言评价素养不同程度的掌握，有利于构建“语言评价素养梯级”，为针对不同人员的语言评价素养课程开发以及专业认证都提供了很好的解决方案。
表2.2 语言评价素养连续体
（改编自Pill & Harding，2013）
Xu & Brown（2016）从宏观的角度把教师的评价素养概念化为实践中的教师评价素养。它扎根于对评价知识基础的理解，受教师对评价的看法、宏观的社会文化和微观的机构环境的影响，是教师作为评价者的身份不断建构与重新建构的过程。另外一方面，作为评价者的教师通过反思、参与和共同建构又丰富了知识基础，体现出社会文化视角下动态的教师评价素养。其模型如图2.7。
图2.7 实践中的教师评价素养概念框架（改编自Xu & Brown，2016：155）
综上所述，语言教师的语言评价素养是多维的，它扎根于特定的社会文化环境中，是语言教师专业能力的重要组成部分，也是不可或缺的部分。它是教师在求学、职前教育、在职工作和在职发展中逐步培养起来的。它的各个维度的发展并不一定平衡，有些维度的发展可能快于其他维度，而有些维度则可能被完全忽略。教师的反思在评价素养发展中起到极其重要的作用。语言教师对语言系统和语言学习的理解是语言评价素养有别于教育学中的评价素养的最重要的方面。
2.2.4 中小学英语教师语言评价素养理论框架
基于前文的讨论，笔者尝试提出一线语言教师评价素养的理论框架（见图2.8）。在中心位置是语言教师评价素养，它无需达到专业命题人员或者语言测试研究者的水平，但要高于普通大众对语言评价的认识。中间实线的圆圈是语言教师现有的评价素养。不论是曾经作为学生或职前教师获得的对语言评价的认识，还是在教学实践中获得的对语言评价的认识，教师均在一定程度上拥有评价素养，只是研究证明多数教师现有的评价素养往往不足以让他们运用评价来促进学生学习。因此，从教师专业发展角度来说，教师应该努力提升语言评价素养，逐步达到功能性素养、程序性和概念性素养，乃至多维的评价素养，在实践中建构或重构作为评价者的身份。中间圆圈的外围是虚线，代表不断提升的语言教师评价素养，这种提升不一定是齐行并进的，它可以根据教师所接受的在职发展契机在某些方面发展得快一点。外围的三个圆圈则是语言教师评价素养的三个重要组成部分。笔者认为Davies（2008）的总结全面而简洁，即评价素养可以分为原则、知识和技能，也就是语言测试中why、what和how的问题。笔者认为，原则是最关键的。在一项评价开始前，教师首先要考虑的是为什么要测试的问题，也就是测试的目的。虽然测试有认证的功能，但是测试的诊断和促学功能却是课堂教师最应该关注的，只有在这个原则的指导下，结合教学所处的社会文化环境，考虑公平和伦理问题，才能确保语言评价的正确使用。关于语言评价素养中的知识，笔者认为教师应该对测量学的基本概念有相应的认识，例如构念的内涵、信度和效度等。虽然教师无需对这些概念进行准确的定义，但是对这些概念的理解应该能够让教师把语言评价的相关概念组织起来，迁移到新的情境中灵活运用。例如，知道构念不相关因素，教师能够在设计评价的过程中尽量避免与构念无关的一些影响学生表现的因素，如指令不清晰等，以获得对学生表现的更加准确的推断。语言评价素养中的知识还包括教师对语言系统本身、对语言学习和语言教学的理解，这是语言评价素养区别于普通教育学中的评价素养的重要部分。语言评价素养中的技能则指的是教师在原则的指导下，运用对语言评价知识的理解，实际进行操作的过程。它包含选择和编制相应的评价方法、施测、评分、试题分析、报告，以及反馈等。技能的培养不是一朝一夕的，而是在长期实践的基础上，结合教师的反思，逐步提升的过程。在这个过程中，专家教师和同伴教师的支持是非常关键的。
图2.8 语言教师评价素养理论框架
基于图2.8的语言教师评价素养理论框架，并结合本书附录二中国际上教师评价能力标准中的条目，以及中国环境下语言教学的实际情况，笔者尝试提出语言教师评价素养参考点，见表2.3。参考点一主要回答的是语言评价中知识的问题，要求教师对教育测量，特别是语言评价中的基本概念有明确的理解。本书第三章将详细地对此参考点进行阐释和解读。参考点二专门针对语言评价的目的，强调语言评价的促学功能。本书第四章将详细地对此参考点进行阐释和解读。参考点三、四、五针对语言知识、能力量表和语言任务特征，并结合教育目标分类，对语言评价素养中语言层面的内容提出针对性的建议。本书第五章将对这些参考点进行阐释和解读。参考点六针对的是评价方法，为语言评价素养中的重要技能之一。本书第六章将详细地对此参考点进行阐释和解读。参考点七、八、九、十针对的是对语言知识的评价。本书第七章将详细地对这些参考点进行阐释和解读，并辅以试题样例和评论。参考点十一至十四从听力、阅读、口语、写作四个技能的角度对语言评价素养进行阐述，每个技能中均包含教师要理解的理论基础，并结合具体技能的特性阐述了任务设计、施测、评分、反馈等问题。本书第八章将详细地对这些参考点进行阐释和解读，并辅以试题样例和评论。参考点十五着重讨论的是数据统计、反馈和分数使用等问题。本书第九章将详细地对此参考点进行阐释和解读。参考点十六和十七针对的是备考和反拨效应。本书第十章将详细地对这两个参考点进行阐释和解读。
表2.3 语言教师评价素养参考点
参考点一：拥有语言评价的概念性知识，能将关于评价的概念性知识组织起来，应用于教学情境中，反映对语言评价的深刻理解。
参考点二：能明确考虑并说明特定情境中语言评价的目的，最大限度地发挥评价的诊断和促学功能。
参考点三：对语言是什么有完整充分的认识，并能在语言评价中根据目的有选择性地测试部分内容，始终意识到评价的局限性。
参考点四：熟悉常见的语言能力量表，并能清晰地表达各阶段语言学习的目标。
参考点五：能对语言评价任务特征进行详细的描述。
参考点六：熟悉多种评价方法，能根据评价目的选择相应的评价方法，并能意识到所用的评价方法的优势与局限性。
参考点七：能较清晰地界定英语语音的构念，并熟练地对英语语音进行评价。
参考点八：能较清晰地界定英语词汇的构念，并熟练地对英语词汇进行评价。
参考点九：能较清晰地界定英语语法的构念，并熟练地对英语语法进行评价。
参考点十：能较清晰地界定英语语用的构念，并对英语语用进行评价。
参考点十一：能较清晰地界定听力理解的构念，并熟练地对英语听力进行评价。
参考点十二：能较清晰地界定阅读理解的构念，并熟练地对英语阅读进行评价。
参考点十三：能较清晰地界定口语表达的构念，并熟练地对英语口语进行评价。
参考点十四：能较清晰地界定书面表达的构念，并熟练地对英语写作进行评价。
参考点十五：能正确统计和解读评价获得的数据，用于教学决策，并提供及时恰当的反馈，特别是描述性反馈。
参考点十六：意识到测评的反拨作用，能运用测评带来积极的测评后效并关注测评中的伦理问题。
参考点十七：能熟练地为学生提供备考指导。
2.3 语言评价素养培训建议
《教育与心理测试标准》（AERA, APA & NCME，2014：192）指出教师可以通过参加工作坊、学习测试专业机构提供的文字材料或视频材料来提高评价素养，也可以通过参与专业测试机构的测试开发过程（如确定考试内容、题目撰写、审阅和标准设定等）来提高评价素养。林敦来（2018）从个人或小组学习的资源和活动模式两个维度提出了语言教师提升语言评价素养的方法。关于个人或小组学习，教师可以运用专著或语言测试教科书来提升语言评价素养，也可以通过期刊论文来提升语言评价素养，还可以运用电子或网络资源来提升语言评价素养。在本书附录一中笔者提供了提升语言评价素养的主要参考资源。关于活动模式，可以采用传帮带模式，特别是可以建构学习共同体（参阅Arter，2001）。Stiggins及同事（2006）通过大量的研究提炼出专业成长的四大要素，即能获得有效的新思想和策略、有机会在课堂中尝试新想法和策略、能够对自己的学习进行掌控、协作。他们认为参加工作坊、阅读期刊和书籍，以及观课均能获得有效的新思想和策略，但是如果没有在自己的课堂中尝试，没有反思尝试的结果，那么新思想和策略几乎没有机会改变自己的课堂。他们提议建构学习小组，将之定义为“三到六人组成一组，为了共同的目的，在商定的时间定期聚集讨论”。关于学习小组的具体操作步骤，他们提出如下办法：（1）思考课堂评价；（2）阅读和反思新的课堂评价策略；（3）将策略转换成课堂运用；（4）尝试课堂运用，观察并推断哪些奏效，哪些无效；（5）反思和概括学习内容和实践中获得的结论；（6）与组员分享和解决问题。图2.9展示了Stiggins及同事（2006：23）提出的评价素养培养的时间分配。个人学习和反思以及课堂运用占主要部分，小组会谈占20％时间，而工作坊是一种有益的补充。
图2.9 评价素养培养的时间分配
2.4 小结
本章界定了语言评价素养，在定义中突显了语言和语言学习以及学习者参与等重要元素，一方面使得语言评价素养的特征更加明显，另一方面把培养能够自我调控学习的学习者作为语言评价素养的一部分，更加契合当前建构主义社会文化的学习观。基于此定义，结合文献中关于高质量课堂评价的论述以及评价素养的构念探究，本章尝试提出了中小学英语教师语言评价素养的理论框架，强调教师的语言评价素养是在特定的社会文化环境中逐步培养起来的。它是多维的，且各个维度的发展不是齐行并进的，而是借助教师职业发展的契机在原则、知识、技能等方面分类别、分阶段按照不同的速度培养起来的，其中体现了教师的自主性、自觉性，最终要建立起教师作为评价者的身份认同。在定义与理论框架的指导下，教师的语言评价素养还要具体地体现在语言评价的各个方面。本书将对这些方面的论述归结为语言教师评价素养的十七个参考点。后文的章节将对这些参考点展开论述。本章也对语言评价素养的培训提出了初步的建议，认为个人学习和反思以及课堂运用是教师培养语言评价素养的主要路径，但是语言评价素养共同体以及工作坊也是不可或缺的。