基于分词算法&VSM的文本主观题自动评分算法研究

时间:2022-10-11 09:29:57

基于分词算法&VSM的文本主观题自动评分算法研究

摘要:论文将空间向量模型、分词算法等中文自然语言理解的研究成果应用于基于文字的主观题答案(包括参考标准答案和考生答案)的计算机“理解”过程中,并提出了基于矢量空间模型(VSM)的文本矢量特征匹配算法并用于计算机对考生主观题答案的自动评判中。实验表明,算法具有一定评分准确度和实用性。

关键词:自动评分;分词;矢量空间模型;文本特征匹配

中图分类号:TP301文献标识码:A文章编号:1009-3044(2011)25-6122-02

Research of the Text Subjective Question's Auto Remarking Algorithm Based on Word Segmentation Algorithm &VSM

LI Xue-jun

(Southwest University of Science and Technology, Mianyang 621010, China)

Abstract: The paper makes use of the studied results(such as Vector Space Model (VSM), Word Segmentation algorithm and so on) of the native language understanding, and applys them in processing the text subjective question's answer (including the standard answer and the student's answer), and then it used the text_charactered vector matching algorithm to auto remark those student's examining paper by the computer system. According to the experiment, the algorithm has accuracy of remarking and some valuable domains of application.

Key words: Auto-remarking; Word Segmentation algorithm; Vector Space Model (VSM); Text character matched

随着计算机技术和互联网技术迅猛发展,传统教育模式发生了变化,越来越多的课程提出了在线考试的需求。计算机可以很好地完成客观题(如选择题、判断题)的判分工作,其判分策略、关键技术及其应用实例详见文献[1]至文献[3]。亦即把考生作答的结果和题目标准答案进行精确匹配从而得到考生的得分。文献[4]提出了一种近似串匹配算法来对文本录入题的自动评分算法,其本质还是进行文本的比较,与客观题的判分原理基本是相同的。

计算机自动评分是指利用计算机程序来模拟人工评分的标准和内部过程。对客观题的评分是通过把试题的标准答案与考生的答案做一个精确比较,并据此作为是否给学生相应的题目分值;对于主观题,目前一般是让考生把其作答的结果形成一个文件(答案文件),再通过网络把考生的答案文件上传到考试服务器中的专用目录中,科任教师在考试结束后对考生的答案文件进行人工评判来进行给分;最后把考生客观题的计算机自动评分结果和主观题的人工评分结果累加起来作为考生的最终成绩。对于客观题可以完全不要人工干预,而主观题就必须在人工干预下才能完成。

因此本文就此提出将人工智能的自然语言理解技术(主要是分词算法)、文本的空间向量模型表示和知识的框架表示内容应用到网络考试系统中的主观题的自动评分过程中。

1 文本主观题自动评分原理

对于在线考试系统来说,其自动评分是在特定范围内的,不需要让其理解所有的自然语言,只需要理解标准答案即可。因此,应该使用某种算法使标准答案转化成机器能够理解的形式,将考生答案也按照一定的规则转化成计算机可以理解的形式,然后再将其和标准答案进行匹配并评分。其关键是如何将评分规则转化为可以被机器理解的知识库。主观题的自动评分原理如图1所示。

2 自动分词算法简介

2.1 最大匹配分词算法

匹配分词法是按照一定的策略将待切分的汉字串与一个“充分大的”机器词典(如金山词霸等)中的词条进行匹配,若在词典中找到某个字符串,则匹配成功(识别出一个词)。按照扫描方向的不同,串匹配分词方法可以分为正向匹配和逆向匹配。按照不同长度优先匹配的情况,可以分为最大(最长)匹配和最小(最短)匹配。最大匹配分词法即先确定一个最大的词的长度,然后从左(正向)或从右(逆向)取该长度的词串,将词串与词典中的词条匹配,如果没有该词则去掉一个字符继续匹配,以此类推,直到达到匹配或剩下一个单字为止。

2.2 最大概率分词算法

最大概率分词算法的基本思想是:假设一个待切分的汉字串可能包含多种分词结果,将其中概率最大的那个作为该字串的分词结果。例如,有一个句子S=“有意见分歧”,第一种分词路径W1=“有/意见/分歧/”,第二种分词路径W2=“有意/见/分歧/”,如图2所示。到底应该选择哪一种为最后的分词结果呢?

根据概率分词算法的基本思想,需要计算每一种方法出现的选取概率的作为最后结果,即计算Max(P(W1|S), P(W2|S))。概率计算方法如图3所示。

每一个词汇出现的概率P(wi) 可以在带词频的词典中查出。通过查词典可以得到每个词的概率为:P(有)=0.0180,P(有意)=0.0005,P(意见)=,0.0010,P(见) =0.0002,P(分歧)=0.0001。

对于第一种分词方法:P(w1) = P(有) * P(意见) * P(分歧) = 1.8×10-9;

对于第二种分词方法:P(w2) = P(有意) * P(见) * P(分歧) = 1×10-11;

由上所示,P(w1) > P(w2),所以取第一种方法作为分词结果。

3 文本矢量特征匹配算法

主观试题的答案以文本方式存储,经过分词后的文本如何表示才能更加容易地被计算机处理关系到文本处理的准确性,因此文本表示方法是自动评分算法的一个关键问题。近年来,在Web文本信息特征获取算法的研究中,矢量空间模型(Vector Space Model,VSM )[5-6]是应用较多且效果较好的方法之一,本算法借鉴了该模型的思想。在矢量空间模型中,文本被看作由一组正交词条所生成的矢量空间。根据这个思想,同时考虑到考试评分中经常将试题答案分为几个要点,因此提出主观题成绩评判模型为:

首先,答案文本是由一些要点组成,如果把答案文本(Answer text 用A来表示)看成一个由n个要点(Pi)组成的集合,则可以这样表示答案:A={P1,P2,…,Pi,…,Pn};设每个要点Pi的分值为Mi,则该答案的总分M为:;按照VSM思想,将标准答案每一个要点Pi被看成是由Ki个特征词(wj)组成的向量P:;设每个特征词的权重是wj(由经验丰富的任课教师人工设置),则其归一化权重为:;设考生答案的每一个要点Pi'也被看成是由Ki'个特征词(wj')组成的向量P':;通过计算考生答案和标准答案的向量间的距离并据此计算考生可得到到该要点的分值,即:(如果向量间的距离为0,则说明考生答案和标准答案完全匹配,考生可以拿到该要点的所有分值);考生所得总分M'为:。

4 算法测试及结论

本论文采用oracle作为后台数据库管理系统(因为系统所用的词典数据库都比较大),基于B/S模式设计了基于文本的主观题自动评分测试软件。通过对不同名词解释题目(答案长度及复杂度不同)的评测,再将本算法评得的分数与人工评分相比,分数的容差在(-0.5~+0.5),可以测得其评分的准确度在86.93%。通过实际的数据测试可以看出,答案越复杂,要点越多,评分的准确性越差;相反,要点越少,答案越简单,评分的准确性越好。而且人工设置关键词和权重也有利有弊,人工设置固然增强了系统的准确程度,但是其前提是设置人必须是有经验的老师,如果是没有经验的老师设置,则给算法增加了人为的误差。该算法具有一定的实用性,但还有待进一步的完善。

参考文献:

[1] 华蕊. 自动组卷及评分系统的设计[J]. 中国电化教育.2002,(2):84-85.

[2] 朱映辉, 江玉珍.计算机自动评卷策略分析与研究[J]. 电脑知识与技术,2005,(35):30-32.

[3] 李丁. 计算机考试系统中自动评分策略的研究与实现[J]. 广东广播电视大学学报,2002,11(4):30-32.

[4] 李少芳, 车艳.近似串匹配算法在自动评分系统中的应用[J]. 东莞理工学院学报,2008,15(3):25-28.

[5] Sowa J F. Conceptual Structure: Information processing in mind and machine [M]. Boston :Addison2 Wesley Publishing Co Inc,1984.

[6] Raghavan V,Wong SKM.a critical analysis of vector space model for information retrieval[J]. Journal of the American Society for Information Science,1986,37(5):279-287.

上一篇:园区网IPv6接入技术探讨 下一篇:计算机辅助审计在税收征管审计中的应用