高职英语作文智能评阅与人工评阅的对比与分析

摘要：冰果英语智能作文评阅系统是冰果英语针对高等院校学生英语写作教学推出的机器自动评阅大批量学生作文的服务产品，其目的旨在帮助教师减轻大批量批改作文的负担，使学生多练多写，从而提高学生的写作能力。本研究以广东科技学院2012级计算机专业专科大一的两个班级（80人）的高职英语作文样本为研究对象，将冰果英语智能作文评阅系统与人工评分进行对比和分析，旨在探讨冰果智能作文评阅系统与人工评分的差异性及一致性。

关键词：高职英语作文；智能评阅；人工评阅；对比；分析

中图分类号：H319文献标识码：A文章编号：1006-026X（2013）12-0000-02

一、研究背景

英语作文是检验英语学习者写作能力的一块试金石。教师通过批改学生的作文，可以及时了解到学生在英语学习过程中存在的问题。然而，由于学生人数多、作文批量大、教师疲劳因素、时间因素、及情感因素等等，这使人工批改作文具有一定的主观性。近几十年来，“随着计算机硬件和软件及语言处理技术的快速发展，国内外一批批作文自动评分系统相继问世，如美国的PEG（Project Essay Grader），IEA（Intelligent Essay Assessor），E-rater（Electronic Essay Rater），IntelliMetricTM，及中国的冰果智能作文评阅系统等”（罗小莉，2012）。这些作文自动评分系统被应用到英语写作测试中，给作文批改带来了新的希望。“冰果英语智能作文评阅系统是冰果英语针对高等院校学生英语写作教学推出的机器自动评阅大批量学生作文的服务产品，目前很多国内高校（包括浙江大学、浙江工商大学、浙江理工大学等在内的浙江、上海和江苏的十余所高校试用）都在使用该系统” （李立，2009）。

但是，冰果英语智能作文评阅系统与人工评分的结果是否一致？该系统是否能真正反映出学生的真实语言能力？针对这两个问题，笔者对广东科技学院2012级计算机专业专科大一的两个班级（80人）进行了教学实证研究。

二、研究设计

1.研究对象

广东科技学院2012级计算机专业专科两个班级的学生（80人）参加了本次研究。参加本次研究的学生经过了大学一年级上半期的英语学习，掌握了基本的英语段落展开方式，系统地学习了语篇知识和组织结构。参与研究的英语教师则一直工作在教学一线，能够正确把握作文的命题与水平，并且公正地予以评估。

2.研究工具

本研究的工具是学生的作文样本。教师和自动评分系统对这些作文样本分别进行评阅。分数等级是0～15分，评阅方式是整体评分。

3.研究方法

我们采用的作文自动评分系统是冰果英语智能作文评阅系统。冰果英语智能作文评阅系统是针对高等院校英语写作教学推出的机器自动评阅大批量学生作文的服务产品。目前，很多国内高校（包括浙江大学、浙江工商大学、浙江理工大学等在内的浙江、上海和江苏的十余所高校试用）都在使用该系统。使用者普遍反馈，该系统能评出学生的实际写作水平。人工评估时，我们采用的是整体评估法，要求教师对学生的作文从语言、内容、篇章结构三个方面进行整体评分，并给出评语。

三、数据收集与分析

1.智能评阅与人工评阅结果的对比分析

我们收集了广东科技学院2012级计算机专业专科两个班级的学生80名学生的80份作文的电子文本，由智能评分系统和英语教师分别以整体评分的方式进行评分。为得到智能评阅系统与人工评阅之间的真正差异，我们选取了学生2篇作文样本进行对比和分析。

作文样本一：

说明：假设你是一位部门经理王平，给应聘者张辉回一封拒绝录用函。

内容：张辉来您公司应聘，无论其背景还是计算机能力都给您留下了一定的印象，但是求职者的计算机水平依然未达到公司的要求，加之没有受过有效的培训和工作年限不足5年，你（王平）不能录用他，特写此回绝录用函给他，同时表示感谢他对本公司的关注。

时间：2007年6月26日

注意：不要照中文逐字翻译，语气要显得客气，总分15分。

（学生样本一）

冰果英语智能作文评阅系统给学生样本一的这篇作文打出了7.8分，并给出了如下的语法错误与评语：

语法错误：

1.[语法问题]June 26，2007

2.[拼写提示]Zhang是不是：[Chang，hang，Chang，hang]

3.[搭配提示]sorry hire company inform

4.[句型提示]I m pleased：很高兴...[搭配提示]pleased

5.[搭配提示]certain computer

6.[搭配提示]trust will

7.[语法问题]sincerely yours，

8.[语法问题]Wang Ping

评语：

Thanks for the good effort.The language in your writing is generally clear but with some errors.You have a good range of sentence structure and vocabulary.You have covered the points required and showed sufficient details.

然而，我们人工评阅的教师给这篇作文打出了12分，并作了如下的语法错误批改和评语。

语法错误：

1.文章第二段的时态没有用一般过去式。

2.But your computer doesnt reach the standard level of our company，这句表达的电脑水平应该用computer ability or computer skills.

3.I trust in your ability，把in去掉。

4.Division Manager，应该先写职位，再签名。

评语：

整篇文章结构清晰，英语表达通俗易懂。能熟练地使用英语的各种句型结构来表达写作的思想，用词恰当。不过文章中存在少量的语法错误，望今后写作多注意此点。总之，这是一篇很好的习作。

作文样本二：

说明：以学生会的名义，写一份活动延期举行的通知。

内容：我们原定6月20日晚上七点在报告厅举行讲座。讲座的题目是：大学毕业生如何正确择业。因报告人Brown Company的王先生突然生病，讲座推迟到6月22日晚上七点。

（学生样本二）

冰果英语智能作文评阅系统给学生样本二的这篇作文打出了8.5分，并作了如下的语法错误的修改与评语：

语法错误：

1.[语法问题]My dear classmates：该句可能存在语法问题。

2.[语法问题]originally scheduled for June 20th at seven oclock in the evening in the lecture hall held lectures will be postponed until June 22nd 7 at night held.该句可能存在语法问题。

3.[搭配提示]good You are good.

4.[词语解析]admit：v.承认，让...进入 ：admit作“承认，允许进人”解时，为及物动词，其后可接名词/动名词、 that从句或to +动名词，但不能接不定式；

[搭配提示]speaker ill admit hospital

[语法问题]Because the speaker Brown Company Mr Wang suddenly ill，need to be admitted to hospital.该句可能存在语法问题。

5.[搭配提示]hope forgive

6.[语法问题]this lecture content is：university graduates how to normal employment.该句可能存在语法问题。

7.[句型提示]I hope：我喜欢……

[词语解析]able：adj.有才能的，能干的，能够的 ：一般来说，able只能用于表 示人的能力，不能用于表示物的能力；情态动词can或could表示一般的能力时，可与be able to替换使用， 但不可同时使用；able作表语时，其后只能跟动词不定式，即：be able to do sth的结构， 不跟 be able of doing sth 的结构；

[搭配提示]hope will attend selection own thank

评语：

You did OK in your writing.The machine says，“Need more words to compute.” In other words，write a bit longer please？The language in your writing is generally clear but with some errors.You have a good range of sentence structure and vocabulary.Your essay seems to be relevant to the assigned topic.

然而，我们人工评阅的教师给这篇作文打出了5分，并作了如下的语法错误批改和评语。

语法错误：

1.书面通知中很少用称呼，所以删掉文章开头的My dear classmates：

2.You are good.是英语中比较口语化的表达，在通知可以不使用。

3.Originally scheduled for June 20th at seven oclock in the evening in the lecture hall held lectures will be postponed until June 22nd 7 at night held.这句话主语、谓语、宾语分不清楚。

4.Because the speaker Brown Company Mr Wang suddenly ill，need to be admitted to hospital.这句话表达不完整，缺少谓语和主语。

5.Hope you will forgive me.“me”用词不恰当。

6.This lecture content is：university graduates how to normal employment.这句话意思表达清楚，缺少动词。

7.I hope the students will be able to attend，increasing selection for choosing their own after graduation，thank you.这句话主语、谓语、宾语分不清楚。

8.文章的结尾没有落款。

评语：

整篇文章结构混乱，内容不清晰。对英语基础知识掌握不牢固，不能完整地表达完整句话的意思。此外，文章中存在大量的语法错误和用词错误。

从冰果英语智能作文评阅系统和人工评阅系统来看，两者评分的差异性较大。例如样本一：智能作文评阅系统所列举出的很多语法错误似乎都是我们人工评阅能够容忍的，当然这些语法错误在实际写作当中影响并不大。如Zhang是不是：[Chang，hang，Chang，hang]，sincerely yours和Wang Ping等等，这样就会产生使用冰果英语智能作文评阅系统所评的作文得分低，而采用人工评阅学生的作文较高。再如样本二：智能作文评阅系统对整篇的理解很机械化，没有人为的主观能动性。学生的作文写得很长，所用的词汇量多，内容够丰富且也涵盖也写作中所包含的要点，因此机器给这篇作文评出8.5分，这属于中上水平的作文。然而我们教师在对学生的这篇作文从语言、内容、篇章结构三个方面进行整体评分，只给出了5分。这其中的主要原因就是整篇文章结构混乱，内容不清晰。学生根本不能很好地掌握英语的基础知识，行文中存在大量的语法错误和用词错误，在文中很难能找到一句意思表达恰当和完整的话。

四、结束语

无论是从应试获得高分的角度来看，还是从提高学生英语应用能力来看，提高学生的英语写作水平都是件迫在眉睫的事情。作文智能评分系统的到来无疑解决了英语教师欲布置大量练习却无力批改的难题。但是，学生在英语写作中更需要和教师进行书面或面对面的交流，因为智能评分系统是冷冰冰的机器，只有靠教师的点拨和指出错误，学生才会有更大的进步。因此，教师应该将智能评分系统与人工评分结合起来使用，才能真正达到提高学生写作水平的目的。当然，如何将二者有效地结合起来使用，既节省教师的时间和精力，又满足学生的实际需求，这仍然是英语教师在教学实践中应该不断摸索的问题。

参考文献

[1]冰果英语智能作文评阅系统[EB/OL].http：// /

[2]葛诗利.中国学习者自动作文评分探索[J].外语界，2007，（5）.

[3]葛诗利，陈潇潇.国外自动作文评分技术研究[J].外语电化教学，2007（117），25-28.

[4]李立.作文自动评分：人工阅卷的“终结者”？[N].21世纪英语教育周刊，2009，（160）

[5]梁茂成.国外作文自动评分系统评述及启示[J].外语电化教学，2007，（10）.

[6]梁茂成.中国学生英语作文自动评分模型的构建[D].南京大学博士论文，2005.

[7]罗小莉.冰果智能作文评阅系统与人工评分的相关分析[J].读写算，2012（6）.

[8]鲁艳辉等.智能写作评分系统在大学英语写作中的实证研究[J].现代教育技术，2010（6）.

[9]吴会芹.用现代化手段辅助语言测试[J].外语电化教学，2006，（6）：49-53.