“来”读书 | 混合方法研究在语言评价领域的运用

这个冬天，“来”读书 来袭！来自北京师范大学外国语言文学学院的 林敦来副教授 ，主笔“来”读书栏目，每月向您推荐国内外语言测试学方面的最新著述，助您了解语言测试学最新发展动向！
语言测试学作为应用语言学的重要分支，近年取得了长足的发展，新书新著层出不穷。关注国内外研究的最新进展，站在学科的最前沿对于每位研究者和教师而言至关重要。如何实现这一目标？有意识地全面提升语言评价素养无疑是最有效的途径。语言评价素养不仅包括理论知识、专业技能、原则概念，也包括个人信念和态度以及社会文化价值观等（如下图 Taylor, 2013）。

北京师范大学外文学院一群志趣相投的师生组成了阅读小组，集体阅读并定期讨论国内外语言测试学方面的最新著述。他们愿意与更多同道分享学习心得，推出“来”读书栏目。“来”读书不是书评， 更不是广告，它是你了解语言测试学最新发展动向的窗口，每月两期，送上新鲜的语言测评新动向！

“来”读书 本期主笔 ：林敦来
林敦来，现任北京师范大学外国语言文学学院副教授，硕士生导师，2007年起就职于北京师范大学外文学院公外部，现担任公外部主任。研究方向为语言测试与评价及大学英语教学，主持国家社会科学基金一项，参与教育部基础教育质量监测中心及中国基础教育监测协同创新中心英语学科工作。目前已出版专著三部，参与编写大学英语教材多部。

本书共四个部分，从理据、概论、案例与行动建议四个角度讨论混合方法研究在语言评价领域的运用。

第一部分

第一部分共两章，论述了在语言评价领域采用混合方法研究的基本考虑与益处。

第一章由内布拉斯加大学林肯分校（下文简称UNL）的 Aleidine J Moeller 论述语言评价研究与混合方法的契合点。

Moeller 首先论述了测试文化到评价文化、教到学的范式转变，这种转变要求“分析”与“系统”方法并用来理解教育现象。另外，交际教学法，特别是任务型教学及评价的盛行所带来的复杂变量与传统测试中信效度与真实性的考量均使得单一的研究方法不能反映复杂的语言技能。Moeller 认为运用混合方法研究基于实用主义哲学思想，通过采用多元的方法则可以实现元推断（meta-inference），使得结果优于单一方法。Moeller 接着从语言测试和混合研究方法的历史角度分析两者契合点，并简述了本书几项研究，预示混合研究方法将在语言评价中发挥更大作用。本章最后讨论了混合方法研究的益处。

第二章由剑桥大学外语考试部（下文简称 CELA）的 Nick Saville 从评价操作管理角度讨论运用混合方法研究的优点。

评价操作管理分为构念界定与验证和评价系统的操作循环。关于构念界定，Saville 援引 Weir（2005）的社会认知模型具体说明混合方法研究如何发挥作用。关于评价系统的操作循环，作者用欧洲测试协会的典型评价操作循环（Association of Language Testers in Europe, 2011）为例，说明混合方法研究的用途。

第二部分

第二部分共四章。第三章由 UNL 的 John W Creswell 与俄亥俄大学的 Yuchun Zhou 概述混合方法研究。作者首先提出混合方法研究的四大要素：收集分析定量定性数据、整合两类数据、运用特定的设计并使设计基于哲学框架。接着回顾了混合方法研究的历史、价值、哲学基础、所需技能以及可选的设计。可选设计种类多，但是大体上分为基础设计和高级设计。作者认为研究者首先需要询问自己融合定量与定性数据的目的为何：是结合是连接还是嵌入。作者介绍了聚敛设计、解释性序列设计、探索性序列设计三种基础设计以及介入设计、社会正义设计、多阶段评估设计和个案设计四种高阶设计。作者认为确定好设计后，研究的题目、问题排序、步骤图和结果呈现均更加明确。本章最后作者讨论混合方法研究的效度问题，并提出语言评价领域采用混合方法研究的建议，如收集整合两类数据、传达方法背后的哲学思想、掌握定量、定性和混合方法研究三类技能以及明确研究设计。
第四章由 UNL 的 Nick Ziegler 和 LeKang 讨论混合方法研究设计。

作者指出混合方法研究试图运用定量和定性两种数据达到协同效应，它基于多元主义、溯因推理（abduction）[1]、协同主义的世界观，通过定量和定性数据相结合，实现元推断（meta-inferences），从而要么实现结果印证，要么实现结果扩展，要么出现结果不协调而进一步推进原因探究。作者在本章从设计、方法、解读三个层面呈现混合方法研究。从设计层面上看，定量与定性相结合的目的与时机是区分混合方法的关键。作者分别介绍了三种基础方法和两种高级方法的步骤及其挑战。在方法层面，作者介绍了连接、建构、融合和嵌入四种策略。在解读层面，作者介绍了数据准备（压缩、转换、合并）、数据分析（相关、比较、导入）和数据整合（结果整合、恰当的论断分析、综合展示）三个整合分析的步骤与策略，对各个概念进行了说明，并列出结果整合五步骤和恰当的论断分析四步骤。为便于读者理解，作者列举了语言评价研究中用到的聚敛平行设计、解释性序列设计、探索性序列设计、嵌入式设计和多阶段评估设计。本章最后部分作者从设计质量、解读的严格度和外部效度方面讨论混合方法研究的效度问题。
第五章由 UNL 的 Debra R Miller 和旧西布雷纽约州立大学的 Carolina Bustamante 讨论如何画混合方法研究流程图。

作者首先介绍了概念图、思维导图等概念与用途，混合方法研究流程图的符号系统和画图步骤，给出基础设计和高阶设计的流程图模板，并列举了七项研究为例。接着作者以 PowerPoint 为例详细展示了如何画流程图并辅以实例。
第六章由 UNL 的 Sheri Hurlbut 讨论撰写与发表语言学习与评价类混合方法研究的十个基本要素。

题目要表明主题、提示研究场所与对象、简洁、中立、融入“混合方法”并导向设计。引言要吸引读者、指出空白、解释如何填补空白、说明话题重要性、解释为何运用混合方法以及受益群体。研究目的要清晰，解释混合方法，阐述定量与定性研究的目的以及混合的理据。研究问题应包含定量问题、定性问题和混合方法问题并根据设计排序。研究基础要说明哲学依据、理论框架与基于设计的文献综述。研究方法需详细描述具体的研究设计及挑战，给出流程图、数据收集与分析方法、研究效度问题、伦理问题和研究者省思。研究结果呈现顺序要符合设计，回答定量定性与混合方法问题，提供数据图表并按主题纳入数据。讨论部分需要按研究设计来排序，与文献呼应，总结定量定性和混合方法结果，讨论局限性、实践启示和未来研究。参考文献和附件遵循期刊要求。本章最后作者提供了发表混合方法研究的期刊信息，并附有章节学习检测题。

第三部分

第三部分共五章，例举语言评价中混合方法研究的运用。第七章由密歇根大学的 Timothy C Guetterman 和 CELA 的 Angeliki Salamoura 讨论如何通过严格的混合方法研究增加测试效度验证。测试效度的多维性、证据多元性和过程的持续性需要混合方法研究带来的元推断来验证。作者通过关键词搜索获得10个相关研究，提出了现有研究存在的九个问题及解决策略。这些问题如研究问题的措辞中未能包含混合方法研究问题；缺少哲学观讨论；缺少理据说明；缺少详细的流程图；缺乏对两种类型数据融合的说明；未运用综合展示；不够严格的质性方法；不够严格的定量工具开发；缺乏明确的运用混合方法带来增值的讨论。作者举第九章的研究为例说明如何运用严格的混合方法避免上述九个问题。最后作者说明了测试效度（统一又多成份的、整合的、延续的）论证与混合方法成份之间的关联。
第八章由 CELA 的 Ivana Vidakovic 和 Martin Robinson 汇报运用探索性混合方法研究开发国际法律英语证书（ILEC）考试的研究。

在此项研究中，研究者采用了基于专业共同体的参与式方法来开发测试。作者首先介绍了基于专业共同体的参与式方法，概览了内容专家对专门用途英语测试开发的角色演变，然后从需求分析到可行性研究到试测三个阶段陈述了 CELA 与 TransLegal 紧密合作共同开发 ILEC 的研究。在研究过程中问卷调查、访谈、测试数据统计等定性定量数据，并最终整合成有力的证据，证明 ILEC 的有用性。
第九章由 CELA 的 Evelina Galaczi 和 Nahal Khabbazbashi 汇报运用多阶段探索性序列设计开发评分标准的研究。

作者首先从宏观的角度讨论了混合方法研究如何运用于评分标准开发。该研究分为三个阶段。第一阶段目标是开发评分标准初稿，研究者将学习者口语表现数据（话语分析）和考官调查结合起来。第二阶段目标是考察标准初稿并改进。研究者采用多面 Rasch 模型来估计评分标准难度，同时运用有声思维来检验考官对评分标准的理解程度。第三阶段目标是考察改进版的评分标准在实操中的运行情况。主要采用的是多面 Rasch 模型分析两次试测数据来最终检验评分标准。最后，作者讨论了本研究中研究效度问题。
第十章由 CELA 的 Mark Elliott 和 Gad S Lim 汇报运用多阶段探索性序列设计并嵌入并行聚敛阶段的混合方法研究进行 CAE 阅读题目升级改版的研究。

作者从构念界定出发，运用质性方法探讨 CAE 阅读任务设计潜在问题，发现 CAE 阅读第四部分尤其未能体现该测试作为高等教育准入的有用性。作者通过任务设计、试测与效度验证三个阶段，结合定性（文本分析、理论推理）和定量（文本特征分析比较与测试数据），整合两种数据，最终设计出测试跨文本交互阅读高阶能力的任务。

第十一章由 CELA 的 Hanan Khalifa 和 Coreen Docherty 汇报运用聚敛并行设计调查国际语言测试（剑桥少儿英语考试）对越南某州立学校中教学评的影响的研究。

作者首先简要论述了测试影响的复杂性质，提出运用混合方法研究的适切性，并以聚敛并行设计为例探讨剑桥少儿英语考试（初级）测试的引入对当地英语教学的影响。

第四部分

第四部分的行动建议由 UNL 的 Andrew Hustad 和 CELA 的Sarah McElwee 讨论设计与运用混合方法研究的框架。作者首先讨论运用混合方法研究的首要问题，即是否拥有相关技术或是否寻求合作以及采用什么样的世界观哲学观。接着作者讨论混合方法研究问题与设计，包括要调查的核心问题、研究问题的性质、运用混合方法的理据，研究设计与流程图。最后作者讨论混合方法研究数据的收集、分析和呈现，包括方法问题，如何使每个部分的价值最大化、整合所有部分以及结果呈现。本章作者针对每一个问题提出实际操作步骤，共计37条。

有什么话想对林老师说？有什么让你烦恼的测评问题想问林老师？还是有什么压箱底的好书想推荐给业界同仁？从今天起，“来”读书 将作为 “外研测评” 的固定栏目 每两周 与您见面！不论你有什么想法，都可以通过留言的方式与我们互动！将来更有机会和林老师面对面交谈！ [1]关于abduction的译名参阅曾凡桂（2003）。
推 荐 阅 读
Gu, X. & Yu, C. (2017). Book Review ofSecond Language Assessment and MixedMethods Research. Language Testing, 34(3), 435-438.
Jang, E. E, Wagner, M. & Park, G.(2014). Mixed Methods Research in Language Testing and Assessment. Annual Review of Applied Linguistics 34,123-153.
Turner, C. E. (2014). Mixed Methods Research [A]. In Kunnan, A. J. (Ed.). The Companion to Language Assessment [C].Wiley Blackwell, Vol.(3), 1403-1417.