普通话水平测试命题说话项人机联合评分研究

　　2号“离题”语料。说话题目是“我知道的风俗”，考生除开头部分引入知道的风俗外，剩余2分钟描述番茄炒蛋的做法，与题目无任何联系。评分结果显示，机器扣9分，人工扣13分。

　　3号“内容雷同”语料。说话题目是“难忘的旅行”，但说话的内容系背诵大纲规定的40篇朗读篇目中的作品《第一场雪》。评分结果显示，机器扣9分，人工扣15分。

　　4号“无效话语”语料。考生说话的3分钟内重复同一句话超过2分钟。评分结果显示，机器扣10分，人工扣14分。

　　其中语料1中缺时扣分是导致复审后人评分无效的主要原因，语料2、3、4中的离题、雷同与无效话语是导致复审后机评分无效的主要原因，还有两个语料，人工打分仅记录了问题，但未对其扣分，属于测试员操作失误。以上几类语料，是导致评分结果出现大分差的重要因素，需要通过人工复审纠偏。

　　三、结论及建议

　　人机对比数据表明，在大规模普通话测试命题说话项评测中，人评灵活度强，但不够稳定，容易受工作进度、情绪、疲劳度的影响。机评能够辅助或者部分替代测试员测评，具有工作稳定、内部一致性强、效率高的优点，但灵活性、适应性差，对于命题说话这类开放性试题，机评在自然语言理解层面存在诸多难点，为清晰展示机评与人评的优势与局限，表2列出了两者评分的特点。

　　表2 人机评分各自的优势与局限

　　人机联合评分能最大限度地避免因机评技术盲区产生的评测效度问题，不但大幅减少人工测评的工作量，而且其稳定性、客观性等优点也得到了充分的体现。与成熟的口语智能评分系统相比(Versant口语考试系统，采用句子朗读等方式避开对自然交际话语进行识别的难题，因此人机一致率与关联度较高)，测试机评系统在人机相关度与一致率上仍有上升的空间，为了使这一新模式能够健康发展，提出以下几点建议：

　　(一)优化完善智能评分算法，提升机器评分效度

　　统计显示，机评模型明显体现为语音识别能力强但语义理解能力弱的特点，在常识学习与归纳推理方面亟待提高，对于离题、无效话语等情形，机器无法准确辨识，如果考生因为机评的局限性获取不该得到的高分，会促使其采用投机取巧的方法参加测试，如某些考生利用机评的技术盲区，采用套题等方法应对测试。因此完善评分模型十分有必要，首先可以从雷同语料精准识别入手，然后通过对自然语言的深度理解、高质量的语音库建设与算法优化等层面不断探索与完善，实现离题语料的初步识别。

　　(二)加大测试员培训力度，确保人工打分准确客观

　　受工作、家庭等诸多因素影响，部分测试员测评的频率并不高，而机辅测试环境下命题说话项的人工测评没有考生前三项的语音面貌作为参照，测评缺少延续性，难以整体把握。某些测试量较小的测试员，对语料反复审听，往往容易放大考生发音缺陷、词汇语法用法不当等情形，扣分过严，造成人评分普遍略低于机评分。为保证人工打分环节的公平客观，使不同测试员测评尺度相对统一，最大限度减少主观因素的影响，需要对测试员定期培训与指导。

　　(三)高度重视人工复审，把好测评最后一道关

　　复审是测评环节中极为重要的步骤，是对测试质量的检查验收与纠偏，其中偏差复审最为关键，在某些维度机评尚未取得突破的现状下，人工复审是提升测评效度的重要保障。对待复审工作，人员选取是关键，要选聘责任心强、测试经验丰富的资深测试员担任此项工作，同时测试机构要强化复审语料测评的研究，加强测评质量监控。

　　随着普通话报考人数的增长、测评质量要求的提高，提升测评自动化程度是测试走向科学化道路的必然要求，而智能测评的生命力主要体现在测评效率和结果的可信度，根据已投入使用的普通话命题说话项智能评分模块的应用实际来看，目前系统能基本满足测评需求。但是考虑到当前智能评分还存在诸多不足，某些技术瓶颈还有待突破。因此笔者认为当下采用计算机智能评分替代人工1评的模式，既能发挥人工打分在学科先导、专家仲裁和社会接受程度方面的优势，又能发挥智能评分带来的高效与公平的长处，通过人机结合的方式，实现智能评分与人工评分的优势互补，是当前普通话水平测试命题说话项测评最佳的模式。

　　参考文献

　　[1]教育部.普通话水平测试管理规定:中华人民共和国教育部令第51号[EB/OL].(2021-11-27)[2022-08-20].http://www.moe.gov.cn/srcsite/A02/s5911/moe_621/202112/t20211209_585976.html.

　　[2]浙江省语言文字工作委员会,浙江省语言文字工作者协会.浙江省普通话水平测试教程[M].杭州:浙江大学出版社,2012:232.

　　[3]王增智.普通话水平测试命题说话的答题策略探索[J].新教育时代电子杂志(教师版), 2016(12):167-168.