辽宁省招考办公室相关负责人向南都记者强调，应用人工智能的主要目的不是抓作弊者，而是起到震慑作用，让抱着侥幸心理的考生不敢、不能，或者不想作弊，创造一个更公平的环境。公平的考试环境。

让人工智能解决高考视频研判的“痛点”

7月7日晚五点，交卷铃声响起，标志着辽宁省2020年高考第一天结束。

三小时后，辽宁省招考办公室近十名技术人员忙碌起来：当天所有监考视频均已加密传输至云端数据库，开始对考场违规行为进行检测。

办公室里没有人说话，只能听到电脑主机的嗡嗡声。每个技术人员都守着一台电脑，全神贯注地盯着电脑屏幕上排列整齐的几个程序窗口。他们没有点击键盘和鼠标，但程序窗口中却以肉眼几乎看不见的速度一行行代码。飞快地一闪而过。

AI检测系统的运行界面。

这些代码的背后，是辽宁省今年首次引入高考的“考场违规智能分析系统”。

通过研判监考视频查处考场违规行为，是每年高考期间各省市的一项常规任务。但这些年来，辽宁省招考办公室也发现了一些“痛点”：需要大量人力，需要100多名专业人员；时间比较长，100多人要等7-10天，还要等到高考。工作正式结束后才能开始；工作内容枯燥，每个监考视频长达3个多小时。评测人员一直盯着倍速播放的视频，很容易产生疲劳。研究人员存在视觉限制，缺乏注意力和识别能力。

人工智能正好可以弥补人类的缺点：具有自学习能力、数据处理速度快、可以24/7全自动运行。

辽宁省招考办公室数据部副部长刘健介绍，今年辽宁共有考场7585个，生成监考视频3.3万条，视频总时长近11万小时。人工智能系统配备80台智能分析服务器，每小时可分析320个完整考场视频，仅用170小时就完成全部考试。

据了解，这170小时还包括获取和存储视频文件所花费的时间。如果我们以此为基础对系统的运行时间进行保守换算，80台智能分析服务器同时工作，检测一个考试视频的平均时间约为18秒。

“今年研究者和评委的任务轻松多了，因为人工智能系统前期已经筛查出了大量视频。各级考试人员只需对系统检测到的涉嫌违规行为进一步筛查和判断即可。” ”。刘健表示，在防控COVID-19疫情的特殊情况下，人工智能的应用也避免了大量研究和判断人员聚集带来的潜在风险。

需要注意的是，系统检测到的异常行为只能称为“涉嫌违规”。研发团队负责人、沉阳航空航天大学教授、沉阳图维科技有限公司创始人史祥斌告诉南都记者，考试违规的判定是一个复杂而谨慎的过程，参考结果系统给出的信息必须经过多轮人工验证。各级检查人员将判定是否存在违规行为。

一段疑似违法视频在播出不到一个小时就被发现。

南都记者了解到，这个系统的构成相当复杂，不仅仅是设计一个好的算法模型那么简单。包括视频文件预处理、智能任务调度、视频分析、视频播放、业务管理和统计分析六大模块。前两个模块主要是为了让系统高效运行。替代人类“看视频”的工作主要集中在视频分析和视频播放模块上。发现异常后，系统会将相关信息传输至业务管理模块，供工作人员检索查看。

7月7日晚系统正式上线后，不到一个小时就发现了第一条考生异常行为视频。两名涉嫌违规的考生一起作弊，并互相比较对方的答案，但没有被监考人员发现。

让两位候选人没想到的是，他们的一举一动都在人工智能的“雷达之下”。研究人员只要登录业务管理模块，就可以一目了然地看到涉嫌违规行为。

高效、便捷是研究者和评委的共同感受。 “去年考级的时候，我们被分配了一堆原创视频，每个视频的长度从3小时到3.5小时不等，每个视频都要从头到尾看完。每个考场大约有30名考生。你想想视频里的人多小啊！”一位参加去年高考的研究员表示，有了人工智能系统，视频回放总量就大了。突然减少了。原来的1/20，研判工作更有针对性，“工作效率太高了”。

据辽宁省招考办公室介绍，今年发现的多起涉嫌违规行为，经考试人员认定为实际违规行为。经过实际测试，系统可以有效识别侧视、前视、回头、传纸条等常规抄袭行为。在检测人工难以判断的高科技作弊行为方面也取得了不错的效果。

从特征提取到数据处理，研发过程经历了诸多挑战。

涉嫌违规行为是如何被发现的？系统算法负责人、沉阳航空航天大学副教授、沉阳图微科技有限公司核心成员刘翠伟解释，通过研究大量考试视频和心理材料，团队发现：违反规定的学生会产生一些心理波动，从而表现出异常行为。 “通过分析图片中考生的动态和静态特征，人工智能系统可以捕捉到一些异常行为。”她说。

原理讲解看似很简单，但实际研发过程却艰辛而漫长。辽宁省招考办公室早在2017年就曾打算使用人工智能，但由于技术限制，——未能落地。相关工作人员联系了多家企业，包括一些大型互联网公司，得到的答复是“这是不可能完成的”。直到2018年，沉阳航空航天大学团队才接受了这一“挑战”。

让人工智能发展出“凶眼”有何难点？刘翠微告诉南都记者，违规行为的特征表示和提取是第一大问题。

用面部识别作为对比，也许能更好地说明考场中行为分析的难度：每个人的面部特征都确定了，机器只要拍出清晰的面部照片，就可以完成特征提取和背景对比。

然而，在考场上，不同考生之间存在很大差异，违规行为的特征也不确定。即使是同一张备忘单，100个学生也可能有100种不同的表现。这就需要研发人员明确违规行为的特征，以便系统能够进行有效区分。

考生精细动作的易读性是另一个难题。由于实际限制，考场不可能安装多个摄像头。我们只能依靠教室前面的摄像机来拍摄全景。不同候选人之间可能存在障碍。一个教室里大约有30 名考生。尽管考场视频已经达到高清水平，但画面中的每个考生仍然很小，捕捉到的身体姿势和动作也仅限于特定角度。

高考监控录像。

“一个想要作弊的考生，主观隐蔽性很强，不可能公开地表现出他的行为。他的动作都是细微的动作，变化的幅度很小，可能会在图像中的几十个像素中体现出来。”甚至几个像素。”刘翠微表示，之前的一些人工智能系统可以检测到大幅度、快速的动作，比如打架、异常奔跑等。然而，室内环境中多人的详细行为分析仍然面临着巨大的挑战。

构建高质量的培训模型也是研发团队需要解决的重要问题。技术人员组织专门团队对大量考试视频进行注释，包括视频中人物的位置、身体部位、考生动作、是否存在违规行为等。

另外，与人脸识别中的图像比对相比，视频分析难度更大，其背后的数据处理工作量级也完全不同：一般视频播放帧率为每秒24帧，也就是24张图像。两个小时的检查将生成超过170,000 张图像。

在这些图像的连续运动中发现考生特征的变化，同时使系统分析的结果“可解释”是极其困难的。国内外没有太多可供借鉴的经验。刘翠微回忆说，研发工作多次遇到瓶颈，因为视频数据量太大，有时系统需要一两天才能测试完毕。

最终，研发团队在完成核心技术攻关的基础上，赋予系统一系列易于管理、易于操作的特点：任务流程自动化，系统可自动筛选分析结果、生成工单一键发送给研判人员；管理人员可以实时监控所有任务的执行情况；视频模块可自动截取证据视频片段，减少审查工作量；可根据用户的不同需求，进行市、区、考点、科目等多个维度的数据统计和输出。

正是因为很多任务都是“勇闯无人区”，研发团队已申请了11项发明专利，并主持制定了辽宁省地方技术标准。为了更好地开发相关应用，团队还孵化了沉阳图微科技有限公司，专门从事视频领域的行为识别。

人工智能没有KPI。其主要目的是起到威慑作用。

从2018年启动研发到目前应用落地，已经过去了两年多的时间。史祥斌坦言，接手这份工作时，他就知道这将是一个很大的挑战，但他还是没想到会花这么长时间。

由于该系统的创新性很强，市场上现有的许多软件和设备无法满足需求，因此团队还开发了一系列配套软件和硬件。例如，辽宁省招考办公室此次使用的80台视频分析服务器就是团队开发的软硬件协同机，更适合实现视频识别。

两年多来，该系统已在辽宁省普通高考、高中学业水平考试、研究生入学考试、自学考试和成人高考等试点。确认实际效果后，辽宁省招考办公室决定在今年普通高考中正式应用。

为了部署80台视频分析服务器，最大限度发挥系统马力，满足高考需要，辽宁省招生办还专门对机房进行了改造，将服务器机柜底部的地板更换为通风地板，以保证高考的顺利进行。保证供电、温度等没问题。

80 个视频分析服务器一起运行。

不过，从7月7日开始，石祥斌仍然每天前往辽宁省招考办公室查看情况。技术人员还实行“两班倒”，保证系统24小时不间断运行。

“这么复杂的系统，只要某个环节出现问题，就会影响后续的工作。但高考是不允许出错的，我们要对考生负责。”史祥斌坦言，自己压力很大，每天只能看着系统正常运行。安心。至此，系统已成功经受住了考验。

值得注意的是，刘健告诉南都记者，智能系统并没有设定“抓到多少违规行为”的“KPI指标”。 “并不是说违规考生被抓的越多越好，而是更多起到震慑作用，让考生清楚地知道，作弊就会被抓，从而达到让考生不敢的目的，不能、也不想作弊，创造更加公平、公正的考试环境。”刘健说。

近年来，人工智能的实用性被党和政府多次提及。去年年底召开的党的十九届四中全会提出，“要更加注重运用人工智能、互联网、大数据等现代信息技术手段，提高治理能力和治理现代化水平。”今年的政府工作报告还提到加强新型基础设施建设、发展新一代信息网络。辽宁省招考办公室表示，希望未来将人工智能技术应用到招生考试工作的更多方面，如识别试卷保密室工作人员、智能阅卷等，提高招考中的治理能力和考试工作。