AUA框架

摘要：Bachman从哲学方法论的角度入手，将测试有用性模型发展为检验测评结果解释和测评使用合理性的理论――AUA框架。AUA是诠释效度理论的最新发展，是语言测评理论一次质的飞跃。本文对AUA出现的背景及其发展作了一个概略回顾，旨在对语言测评工作者展现可资借鉴的最新理念以及具有革新意义的测评设计、开发和使用方法，从而确保设计和开发的语言测评更具科学性和有用性。

关键词：测评使用论证；效度整体观；语言测评

中图分类号：H319.3

文献标识码：A

文章编号：1001-5795(2012)01-0037-0005

Bachman的语言测试理论思想丰富，研究面广，在语言测试的理论探讨、方法研究和实践活动等多个领域都有开创性的研究。在《语言测试要略》(1990)一书中，Baehman提出的“交际语言能力模式”(Commu-nicative Language Ability，简称CLA)被称为“语言测试史上的里程碑”。Bachman和Palmer(1996)的另一本著作《语言测试实践》把理论与实践结合起来，为测试的开发提出了一个可以操作的“测试有用性”模式，但该模型各要素关系不明确，联系松散，没有阐明这些要素和考试分数、考试使用的影响等之间的关系。在此基础上，Bachman从哲学方法论的角度人手，将测试有用性模型发展为检验测评结果解释和测评使用合理性的理论――“测评使用论证”(Assessment Use Argu-ment，简称AUA)，AUA已成为Bachman和Palmer(2010)的新著《语言测评实践：现实世界中语言测评的开发与使用论证》的理论框架。AUA框架把效度验证理论融入到测评的设计、开发和使用的整个过程，为语言测评的研究和实践拓宽了道路。效度验证是一个持续不断的过程，需要收集多方面的证据。为证明分数解释和使用的合理性，哪些证据必不可少?哪些可以舍弃?选择标准是什么?该框架要求测评者从测评表现、语言能力的解释、决策和使用后果等四个方面来收集各种证据，以保证测评分数解释和测评使用的合理性(Bachman，2005，2006，2007a，2007b，2010)。为了便于读者深入了解AUA框架的构建，本文拟对AUA出现的背景及其发展脉络作一个概略的历史回顾，期望对我国语言测评理论与实践改革工作有借鉴意义。

1　AUA理论背景――效度整体观

随着测试理论的发展，效度与效度验证融合的趋势日趋明显，特别是20世纪80年代中后期，美国教育测量家Messick(1989:13)提出了统一的效度框架(u-nitary concept of validity)，即“经验证据和理沦依据在多大程度上支持基于测试分数或其他评估方式所做出的推断或采取的行动是充分和适当的?对这个问题的综合评价性判断就是效度”。这一效度理论首次将效度的范围扩展到了相关性和使用、价值意义与社会影响，从而引发了语言测评领域对测试的社会维度的关注。Shohamy(2001)提出的批判语言测评认为测试行为并不是中立的；相反，测试既是影响教师、学生、个体参与者生活的文化、社会、政治、教育、意识形态动机的产物，也是影响这些动机的因素。那种将测试仅仅当做“测试”的做法是行不通的，因为将测试与其所处的各种语境相剥离的做法本身就是错误的(何莲珍，李航，2010:35)。Bachman(1990)把Messick(1989)的效度思想引入语言测评领域。语言测评研究大多在此效度框架下展开。比如，测试效果之一的反拨作用成为语言测评研究的热点之一(Wall 2000；Shohamy 2001；Cheng et al.2004；Qi 2005；邹申等，2002；邹申，1998；2005a；2005b；2007；邹申等，2009；李清华，2006)。“效度整体观”把效度看作对测试分数解释和使用的评价，其涵盖范围扩展到相关性和使用、价值意义及社会影响，大大拓宽了效度研究的范围。不过，作为一种新的效度理论，“效度整体观”在理论和操作层面尚存在如下几点局限性：

(1)Messick的“效度整体观”提供了一个连贯的效度理论框架，但没有提供具体的效验指南。

(2)“基于论证的效验方法”明确了考生测评表现和考分解释之间的联系，但没有明确与测评使用的关系，没有明确区分决策和效果。

(3)沿袭定量测量传统，忽视评估中的口头、视觉材料以及通过定性方法或文献方法得来的支持性证据。

2　AUA理论的沿革

针对上述这些局限性，Baehman提出了语言测评问责(accountability)这一重要概念，指出一项测评问责是指开发者和决策者能够向各方利益相关者(stake-holders)说明该测评的各种用途，包括基于测试所做的决定及其带来的后果均可得到论证。为了帮助测评开发者充分论证一项测评的使用并使其具备问责性，Bachman提出了指导语言测评开发和使用的理论框架AUA，并详细阐述了该框架的组织结构、组成部分、框架下不同类型的主张以及这些因素在测评使用过程中所起到的关联作用。AUA理论框架大致经历了如下的沿革过程。

Bachman认为效度是测试开发、解释和使用的最重要的特征，对考试分数充分、恰当的解释和使用与效度整体观密切相关；对测试分数解释的效度证据可通过多种途径得到，为此他提出了“测试有用性”模式，具体包括信度、构念效度、真实性、互动性、影响和实用性等六个方面。Bachman(2000:23-24)提出“新的效度理论应该足够灵活，不仅要包含传统的信度和效度，也要把测试的影响考虑进去。同时还必须吸收真实语言测评或交际语言测试的一些特征”。这表明新理论的难点在于如何将测试结果和决策联系起来。Bach-man借用英国逻辑学家Toulmin(2003)的论证模型，作为实践推理的框架，据此来理解并且把论证贯穿运用于测评环境。2003年，Bachman首次提出测评使用论证的设想。他评论了近年来从哲学的角度阐述效度验证的各种方法，指出这些方法应该拓展，将测评的使用加进去。2004年，Bachman首次运用测评使用论证的概念。他对2003年发表在《TESOL季刊》(TESOLQuarterly)上的关于TESOL研究指南的文章作了简短的评论，并指出TESOL实证研究必须要考虑如何将研究观察和解释使用联系起来。Bachman(2004:258)进一步从方法论的角度提出效验包括两个步骤：第一，提出效度验证观点，包括两个方面：试图对测试分数做哪些解释和使用?还有哪些与相反的解释和使用?第二，收集相关证据支持所提议的解释和使用，反驳相反的观点。Bachman(2005，2006)吸收了Messick(1989，1995)的“效验即举证”的思想，拓展了Kane(2001，

2006)基于论证的效验方法(argument-based ap-proach)，将AUA看成是观察使用论证(ObservationUse Argument)，指出用这个论证将研究观察和使用联系起来，构成观察一使用推论链(Links between Observa-tion and Use)(见图1)。

图1观察和使用的链接(Bachman，2004:725)

图1表示研究者如何根据实验来记录被试的表现，使用研究结果，最终实现研究的目的。首先，研究者观察被试的表现，并记录观察的结果，如分数、口头陈述等数据，这些数据必须尽量减少误差，保证结果有较高的可信度。如果不同的研究者采用同样的研究手段和相同的被试，观察结果应该是一致的，这样可以保证研究结果的稳定性。然后，研究者需要根据这些结果，对已有的理论进行解释，或者形成新的假设。对研究结果的解释对研究者来讲必须是有意义的，如果能够验证已有的理论或者推广到新的假设中去，那么这种研究就是有效的。基于这样的认识，2005年Bach-man提出测评论证的结构(The Structure of an Assess-ment Argument)(见图2)。

图2框架的双箭头表示它可以双向线性流动以服务于两个不同的目的：当进行测评的设计和开发时，以测评的决策为出发点向前步步推理，为测评的设计和开发提供理论根据和合理化辩护；当进行测评的解释和使用时，方向则相反，以测评的设计和开发为出发点向后推理，以此把考生的测评表现和测评设计者的决策使用连接起来；整个框架中每一步向下一步的推理都包含了主张(claim)、依据(data)、理据(warrant)、支撑依据(backing)、反驳(rebuttal)和反驳依据(rebut-tals)等要素。测评论证过程应包括两点，一是提出针对某一具体AUA框架内的主张、理据和反驳；二是提供该框架内支持理据和削弱反驳的支撑依据。由此Bachman运用基于论证的研究方法，将效验模型及程序与测评用途联系起来，具有坚实的理论基础和较强的操作性。但是该框架并没有明确与测评使用(决策)和后果的关系。

2006年，Bachman在美国教育测量学会年会的报告中更加详细地阐明了效度论证所包含的步骤，以及相应的理据和依据，并且从测评的论证结构(见图2)提炼出AUA基本的“构造模块”：依据-主张推论链。2007年，在美国应用语言学协会年会上Bachman作了“语言测评：机遇与挑战”的报告，他提出用AUA框架来指导目前所关注的各种问题，如测评的后果、道德和公平等，因此需要把效度理论和语言测评的后果结合起来，以期更加明确效度的作用和语言测评的公平。Bachman(2007a)在图2的基础上增加了决策所带来的效果这一主张(见图3)，表达了语言测评要考虑使用所带来的效果，尤其是考试后效的重要性。

该框架涵盖了测试有用性模型的主要内容，并使原本相互独立的构成要素(信度、构念效度、真实性、互动性、影响和可行性)在新框架内以支持各种主张的理据形式关联成有机整体。图3具有两个特点：①测

图3

测试有用性和测评使用论证的联系(Bachman,2007)试有用性的六个要素构成测评使用论证各种主张(如测评记录、解释、决策、效果)所依赖的理据(Bachman，2005:25-26)。“信度”概念就是指根据考生的测评表现所作的测评记录的稳定性。测评任务的互动性是考生表现的前提。根据测评记录所作的解释在多大程度上是合理的、恰当的、有意义的就是构念效度的保证。解释和决策之间的互动在于二者之间的关联度。决策的制定所产生的影响是考试使用效果的一部分。②真实性理据贯穿测评使用论证的每个环节。真实性作为语言测评的重要特征必须贯穿于语言测评过程始终，始于需求分析，终于测评后效或者测评效果。完整的语言测评过程包括需求分析／测评的预期目的、测评构念／测评任务、施测、评阅、测评记录、分数解释、决策、效果分析。AUA框架贯穿于测评开发和使用的整个过程中，包括测评设计阶段考试说明的编制、测评实施阶段测评任务的开发、测评行为的记录和解释、测评蓝图的制定、答题要求的撰写、试测以及使用阶段信息的反馈。

为进一步明确AUA各阶段(从测评记录到测评效果)的主张和理据，Bachman和Palmer在其新著中，将AUA理论的各种主张细化并设计成与考试实践联系更为紧密的、更具操作性的测评开发指南问题，列举了指导AUA构建和测评开发的十五个问题(Bachman &Palmer，2010:164-166)(见表1)，回答了诸如需要做出什么决策，决策如何体现社会及教育价值观，并能保证决策的公平性问题。这些问题围绕着AUA的四项主张展开。这四项主张涉及测评效果、测评决策、测评解释以及测评记录。也就是说，在语言测评开发和使用过程中，应该遵循以下原则：①开发者能够向利益相关者证明语言测评的使用；②清楚连贯地说明AUA；③确保AUA获得有力的支持论据；④在测评开发和使用过程中，促进利益相关者间的合作。至此相当完整的AUA框架业已形成。

3　结语

AUA理论框架是语言测评理论质的飞跃。首先，它充分展现了作者深邃的语言测试思想和哲学思辨能力。Bachman在2003年首次提出AUA理论框架。在此后七年间，该框架历经多次修改，最终发展成熟，并在新著中得以充分展现。它对提升语言测评开发和使用全过程的问责具有重要作用。它使测评的设计、开发及使用更加科学，并体现了以人为本的原则。其次，为了体现和保证语言测评的问责及使用测评和决策制定的合理性，测评开发者和使用者需要向利益相关者证明语言测评的有用性。AuA框架的构建将指导测评开发者有效地向利益相关者论证测评的公平性和有用性，并科学地完成测评设计与开发全过程。再者，AuA框架具有灵活性(nexibility)、能动性(dynarnic)、扩展性(malleable)和适应性(adaptivity)。它为指导测评开发及测评质量监控提供了总的原则，可以在具体情况下操作化。最后，AUA理论框架向从事语言测评的开发者提供了可资借鉴的语言测评领域的最新理念，为其介绍了一套完整且具有革新意义的语言测评设计、开发和使用方法，并能够指导他们了解和掌握语言测评设计开发的全过程，从而确保他们设计和开发的语言测评更具科学性和有用性。

注释：在语言测试领域，Bachman(1990，2004b)对术语“assess-ment”、“measurement”、“test”和“evaluation”做了较为清晰的区分。但他同时又认为这种细微的区分对语言测试的开发和使用是不必要的。根据Bachman(2004b)的观点，“assessment”可以宽泛地定义为收集信息的过程。鉴于收集信息(如：观察、自我报告、问卷调查、面试、诱导)和记录信息(如：视频或音频记录、口头陈述、定性分析、分数、评分)过程中所运用的手段和途径的多样性，“assessment”、“measurement”、“test”可视为该过程中使用的变体形式，是意义相近、可交替使用的同义词。重要的是测试开发者要明确界定获得受试表现的条件以及记录其表现的步骤。现在普遍使用的关于“测试”的概念已经从传统的“test”、“tes-ring"转向为“assessment”，反映了测试研究正转向对各种评价的关注，更加体现语言测试的功能。因此，本文所引述的文献将根据原文采用“考试”、“测试”或“测评”，本文作者倾向于使用“测评(assessment)”。