国家普通话水平智能测试系统是科大讯飞公司在国家语委“十五”重点科研项目支持下研发完成。系统基于国家普通话水平测试大纲,可准确的对考生命题说话之外的所有测试题型进行自动评测,并可以自动检测发音者存在的语音错误和缺陷,对使用者高效提升普通话口语水平具有积极的指导意义。该系统应用于国家普通话水平测试当中,不仅可以提高普通话水平测试效率、降低测试成本和组织难度,同时也可以开展目前无法开展的考前模拟测试,为考生提供针对性的考前指导。
一、系统目标
国家普通话水平智能测试系统的目标是建立一套方便的、开放的普通话测试平台,实现考生在计算机前完成普通话测试,计算机自动的对考生测试语音进行智能评测,并可以对全省的测试员进行分配和管理,实现资源的共享。系统严格按照国家语委普通话水平测试规程设计,在不改变现有的人工测试规范的情况下,可以方便的开展计算机测试。计算机测试系统的建设可以实现如下几个目的:
1.测试中心、测试站可以根据需要,随时安排计算机测试,把一次组织过程复杂的大规模测试进行分解,降低组织的难度。
2.基层单位只要具备计算机软硬件条件,也可以通过计算机的方式进行测试。
3.解决了测试时经常出现的测试员不足的问题。计算机智能测试引擎可以完成对前三题的评测,测试员只需要对第四题进行评测,大大降低了测试员的工作量,提高了测试效率,降低测试成本。另外,计算机测试系统实现了评、测分离,可以避免对大量测试员的突发需求,把评测工作分配给一些高水平的测试员,保证了测试结果的合理性。
4.提高测试结果的公正性。测试员和考生不直接面对面的接触,不知道自己评测的对象是谁,减少了评测中的人情因素的影响。
5.系统实现了测试的数字化,测试语音、结果可以有效集中到测试管理部门,为科学研究和决策提供依据,这和国家语委提出的数字语委的思路也是吻合的。
二、系统特点
国家普通话水平智能测试系统系统具有如下特点:
1.自动化测试:测试现场不需要安排测试员,3-4名工作人员即可以完成一场大规模测试。考生测试结束,计算机即可以给出考生非命题说话部分的评测结果。
2.简单易操作:所有操作由监考老师完成,考生根据计算机语音提示即可以轻松的完成测试。
3.管理方便:监考老师通过监考机可以全程监控考生的整个测试过程,随时了解每位考生当前的测试情况。
4.灵活实用:测试系统提供网络版、单机版两种应用方案,测试单位可以根据现有的计算机网络条件选择合适的版本进行测试,最大限度的降低应用门槛。
二、计算机评测原理
普通话水平智能测试系统以《普通话水平测试实施纲要》为准则,以数十位一级甲等播音员的发音为标尺,以数千份由多位国家级测试员进行打分的实际普通话水平测试样本为范本,建立起计算机普通话水平测试的算法策略、标准发音模型以及综合评价模块,从而实现使用计算机对普通话水平测试应试人的发音水平进行评价和诊断。
《普通话水平测试实施纲要》作为普通话水平测试的权威规范,对普通话水平测试的各个环节都做出了科学合理的规定,特别是等级的划分和打分的具体实施方案,对全国各地的测试员的具体工作都具有非常强的指导意义。普通话水平智能测试系统的算法策略即是以《纲要》中的评分标准为准则,设计出与《纲要》相一致的算法策略,以保证计算机测试的科学性。
测试员在实施评分的过程中都是与自身所掌握的“标准”发音为标尺来对评分对象(声母、韵母、声调等等)进行发音准确度的判断的,但事实上 “标准”发音并不是指某个人的发音,而是存在多种可能性,包括不同的音色、风格等,那么计算机要建立这样一种标准的尺度,就需要考虑尽可能多的“标准”发音。普通话水平智能测试系统的标准发音模型是在搜集的近50位一级甲等播音员近250小时的发音数据上通过先进的数学建模技术而构建的,它囊括了大多数“标准”发音人的发音特性,能应对几乎所有应试者,对其发音元素的标准程度作出客观的评价。另外,通过对应试人的发音进行语音信号分析以消除应试者的年龄、音色以及录音环境等无关因素对评测结果的影响,从而保证计算评测的尺度一致性和评测结果的公正性。
在获得对每个发音元素的评价之后需要给出对应试者整体普通话水平的评分和等级评定,在发音元素的评价参数和总体评分上存在一种映射关系。在通过对数千份由多位国家级测试员进行打分的实际普通话水平测试样本的统计和分析之上得出了这一映射关系,使得计算机的评分和测试员的评分之间存在高度的一致性。我们对大量计算机实测数据进行统计分析,得出计算机评分与测试员之间的平均评分差异在1.5分左右,要略小于不同测试员之间的平均打分误差,可认为普通话水平智能测试系统的评价映射模型已经达到测试员的水平。
综上所述,普通话水平智能测试系统的核心评测引擎所依赖的准则、标尺和范本均具备科学性和权威性,其中所使用的技术在方法科学、在过程上严谨,最大限度的发挥了计算机在普通话测试中的作用,使得普通话水平智能测试系统的评测结果客观、准确、公正、合理。
四、主要功能
智能测试系统包含监考机程序和考生机程序,在正式应用时,可以选择与省中心管理系统或评分工具配合使用。下面分别介绍各自的主要功能:
1.监考机程序:
考生信息导入:在正式开始考试之前,测试站考场服务器可以接收来自测试中心的参加测试的考生信息,也可以将考生信息统计表直接导入到系统中。
试卷导入:正式开始考试之前,测试站考场服务器可以接收测试中心下发的本次测试所用的试卷,也可以将试卷直接导入到系统中。
试卷分配:系统提供自动和手动两种方式给每个考生分配试卷。试卷分配完成,每个考生测试的试题就已确定,系统生成详细的考生试卷分配表,测试站管理人员可以根据表格安排每个考生在考前进行准备。
开始/结束考试:为方便管理,最大限度地降低考生之间的相互干扰,计算机测试采取统一开始/结束考试的方式。测试站管理人员可以通过监考机开始或结束一次考试,并可以在考试的过程中随时了解每一台考生机当前的状态。
计算机智能评测:考生考试结束,考试语音从考试机上传到考场服务器中。考场服务器启动计算机智能评测引擎,对考生前三题进行自动评测,给出评测结果并保存在数据库中。
数据上传:考生测试结束之后,系统将考生信息、考试的试卷、考试语音以及计算机评测的前三题结果等信息一起压缩,通过互联网传输到测试中心,测试中心收到以上信息后,将考试语音保存在数据库中,集中管理,并将第四题发给测试员进行人工评测。
2.考生机程序
考生登陆:考生进入考场以后,通过考生机输入准考证号,系统自动显示考生个人报名详细信息,考生仔细核对个人信息,如确定没有错误,点击“确定”完成登陆。如准考证输入错误,可以返回重新输入。
试音:根据监考机发出的考场指令,考试机进入到试音程序。考生按提示戴上耳麦,把话筒调整到嘴边,说一句话,计算机根据考生说话声音的大小自动将麦克风的录音音量调节到合适大小。
考试:考生根据计算机语音提示,朗读计算机屏幕显示的试题,每一题结束,点击“下一题”,第四题必须要说满三分钟。全部四题考完,点击完成考试,离开考场。
3.省中心管理系统:
测试站管理:根据各地区/学校参加普通话水平测试的人数不同和建立测试站的申请情况,测试中心酌情批准建立测试站。测试站建立后,由测试中心开通测试站帐号,中心管理员可以分配给各测试站相关的权限,便于各个测试站登陆系统进行信息沟通。主要功能包括:新建/删除测试站、编辑测试站信息;给测试站分配管理权限。
测试员管理:建立测试员专家库,测试中心管理员可以了解到任意测试员的基本情况,包括评测量、评测水平等相关信息,可以分配给测试员相关的权限,使测试员可以了解自己的测试情况。
测试管理:这一部分是整个评测管理系统的核心,是实现第四题评测的手段。系统可以根据测试员以往的评分记录,测试员的工作量等情况,将需要评测的考试录音合理的分配给相应的测试员。测试员登陆系统以后会接收到管理中心分配的测试任务,进行在线评测。这样,测试员不再需要在现场对考生进行评测,大大简化了评测程序,降低了测试站组织评测的困难和成本。另外,给测试员分配考试录音时,系统提供全部录音和第四题录音两种可选数据分配形式。
复审管理:为进一步确保测试质量,系统提供一级、偏差、抽查三种复审方式。
短信通知模块:测试中心分配给测试员新的评测任务以后,系统自动产生一条短信,确保测试员在第一时间能够收到测试任务。
成绩管理:系统提供完整的成绩查询、统计、打印等管理功能。
证书打印:系统提供批量/单个证书打印功能。
报表管理:根据各测试站的测试情况,系统自动产生统计报表,报表内容包括等级分布情况、职业构成情况等。报表以表格和柱状图、饼状图的方式显示,方便领导决策。
数据管理:测试中心将考生的考试录音文件保存一段时间,并且实现第四题录音的分配和评测,需要在管理系统内针对考试录音数据进行管理,通过管理系统,中心管理员可以轻松的实现任意考生录音的查询、删除、备份功能。
信息发布:为方便测试管理的需要,测试中心可以给各测试站发布一些如通知、会议等信息。
系统管理:为方便系统的管理维护,为不同的用户(如测试站、测试员等)开通帐户、设置权限,提供系统管理功能,系统管理由测试中心的系统管理员来操作。
4.评分工具:
评分工具提供的主要是测试员对考生语音的评测,主要功能包括:
试题内容显示:自动显示考生测试的试题内容,供测试员打分时参考。
考生语音播放:按题播放考生语音,播放时计算机显示每一题考生所花的时间,测试员并可以拖动工具条测听任意一段语音内容。
评分:根据每一题的扣分项,测试员填写扣分。评测结束,评分结果以加密的方式保存在系统中