基于目标跟踪的智慧教学空中手写识别系统

【摘要】：随着信息技术的发展,传统教育也朝着智慧教育发展,智慧教学是智慧教育的核心组成部分之一,多媒体等智能设备被引入到教学中。在使用多媒体教学时,教师基本使用鼠标、键盘、PPT翻页笔等计算机交互设备操作PPT、文字书写等进行教学。然而,现有的多媒体教学操作方式所借助的交互设备需要手与之接触、操作固定不够自由,在非接触性操作、预防病菌接触传播、自由无约束等特定场景下的应用存在一定的局限性。因此,为改善上述问题,本文根据多媒体教学操作环境,设计实现了一种基于目标跟踪的智慧教学空中手写识别系统,可以在多场景下通过空中手写实现智慧教学等人机交互操作。本文在研究分析目标跟踪和空中手写识别相关理论及国内外研究现状的基础上,以空中手写识别技术为研究重点,研究设计了基于目标跟踪的智慧教学空中手写识别系统。该系统通过单目摄像头进行图像采集,利用人脸检测确定目标位置,以当前帧图像的人脸位置确定空中手写区域并结合硬件云台控制实现目标跟踪,然后对空中手写区域图像利用图像识别技术实现空中手势分割、空中手势识别、空中手写轨迹采集、空中手写轨迹识别,最后根据空中手势、手写识别结果来实现多媒体教学中的PPT翻页以及字符输入等智慧教学操作方式。本文主要完成的工作如下:(1)通过分析现有多媒体教学操作方式及环境,提出了基于目标跟踪的智慧教学空中手写识别系统需求,根据系统需求分析给出对应的解决方案并设计了系统框架及实现流程。本系统主要由六大?？樽槌?图像采集?？?、目标跟踪?？?、空中手势识别?？?、空中手写轨迹采集?？?、空中手写识别?？?、硬件控制?？?。(2)通过图像采集?？榛袢⊥枷?在目标跟踪?？橹?使用Harr-like特征、Adaboost算法和缩小待检测图像方法实现了更快速的人脸检测,根据人脸检测结果确定空中手写区域及舵机旋转角度。采用STM32、PCA9685、舵机等搭建硬件控制?？?辅助实现智慧教学中的人脸目标跟踪。(3)在空中手势识别?？橹?使用帧间差分和GMM模型对空中手写区域图像进行分割,基于PCA-SVM搭建了空中手势识别模型,实验结果表明空中手势识别率为93.44%,平均每帧耗时0.04秒,选取连续多帧空中手势识别结果中占比最大的作为空中手势识别结果并实现了智慧教学控制。(4)在空中手写轨迹采集?？橹?提出了一种新指尖检测算法用于空中手写指尖检测,实验结果表明相同测试数据下性能和识别率均优于传统的重心距离法等指尖检测,取得了95.81%的识别率,平均每帧耗时0.0009秒,根据时钟信号提取有效的指尖点进行均值平滑、卡尔曼滤波处理并绘制空中手写轨迹。(5)在空中手写识别?？橹?设计实现了一种基于3层卷积神经网络的空中手写识别模型,与Le Net模型及一般的3层卷积神经网络模型相比,实验结果表明本文设计的模型识别率更高,在训练集上的识别率为99.99%,验证集上的识别率为94.64%,采取Top-4方法将识别率提升到了98.79%,平均空中手写一个字符的时间大约为2秒。(6)通过对智慧教学空中手写识别系统进行功能及性能测试,测试结果证明空中手写在无约束、非接触等场景下实现了智慧教学人机交互操作,满足本系统设计需求。