bck

收藏本站

聋哑人手语识别关键技术研究

【摘要】:残障人士这一特殊群体的数量非常庞大,伴随着教育需求的日益增长,让教育发展的成果更多、更公平地惠及残障人士是构建开放融合式现代教育体系的必然趋势。科技馆作为残障人士非正式学习的主要场所,是他们接受教育的重要途径之一。其中,听力受损及语言残障人群面临的交流障碍主要包括获取展品信息困难和科技馆工作人员无法理解作为聋哑人主要沟通方式的手语。因此,利用新兴信息技术对手语进行识别有助于聋哑人群与健听人之间进行顺畅的沟通,对于构建和谐社会以及完善全民教育体系具有重要的现实意义。同时,作为人类身体最直观的表达,手语的应用有助于人机交互向更加自然、便捷的方式升级。因此手语识别是当今人工智能领域的研究热点。近年来,作为新一波人工智能浪潮的排头兵,深度学习为模式识别和计算机视觉领域注入了新的活力。伴随着Kinect V2等新型体感交互设备的普及应用,手语识别研究也迎来了新的契机。当前手语的识别主要存在以下几个具有挑战性的关键问题:(1)聋哑人手语数据集的有效性难以保证。一方面,为了使训练的模型能够适应面向非特定人的手语识别,需要大量采集不同人的演示数据;另一方面,很少有研究能够使用真正的聋人数据集,在使用规范手语数据的情况下,采集到的数据规模较小、容错能力差,差异性实际上又被忽略。(2)手语的实际应用场景往往比较复杂,背景和光照等客观因素对算法的识别效果有较大的干扰。(3)与传统的手势相比,手语序列存在着表意词丰富、动作灵活多变等特点,并且严重的肢体遮挡现象也较为常见,这就使得设计有辨识性的手语表征较为困难。(4)手语识别的最终目标是实现连续手语的识别,然而,连续手语的词与词之间存在不属于任何一个手语词的过渡冗余数据,这会严重影响连续手语识别的精度。基于上述背景,本文紧扣深度学习聋哑人手语识别这一研究立足点,对三维卷积神经网络、循环神经网络、残差网络、注意力机制以及多模式融合等模型进行了重点的探索,并基于这些模型具体实现了动态手语关键词和连续手语序列的识别,取得了一些富有实际意义的研究成果:1.针对问题(1),本文对手语识别方法随着交互设备的不断演变所经历的几个阶段进行了梳理,对识别精确度和交互体验等要素综合考量后,提出了基于计算机视觉和新一代体感交互设备的手语识别方案。针对特殊的光照和背景噪声干扰等条件,使用Kinect V2传感器探索出了多模态同源数据采集方案,并构建了自主的聋哑人手语公开数据集。2.针对问题(2),本文提出了一种融合多模态同源数据的三维卷积神经网络手语识别方法。该方法借助深层架构强大的端到端自主学习能力来取代传统的人工特征选取;通过构建双列深度神经网络,分别从红外图像和轮廓图像中逐层抽取和学习动态手语中具有区分性的时空特征,并利用骨骼数据对两种图像数据中的上肢运动轨迹进行准确的定位。最后,采用深度学习的融合策略对两列子网络的分类结果进行加权融合,从而有效避免单列网络分类器由于数据丢失所引起的分类错误,使模型对背景噪声和因不同光照条件而产生的干扰具有较高的准确性。3.针对问题(3),本文提出了一种基于宽残差和可卷积长短时记忆网络的融合式框架对手语序列进行精确的表征。该框架首先以三维卷积神经网络作为视频数据的特征提取器,以产生能够反映手语特点的短时空特征。而后,以双向可卷积长短时记忆网络对这些固定长度的短时空特征进行充分的时空编码,进一步形成手语的全局关联信息。在模型的后半段,引入堆叠的宽残差模块对特征进准确的分类,并最终通过融合策略对两种独立的数据分类结果进行融合,从而有效提高了模型对手语的辨识能力。4.针对问题(4),文本提出了一种基于可卷积长短时记忆网络注意力机制的连续手语识别方法。面对需要处理的连续手语,该方法使用伪三维残差网络结合平衡铰链损失函数对长序列中的过渡帧进行检测,判定出手语关键词的时间边界。在手语识别阶段,以伪残差网络从视频流中提取手语的空间特征和短时动态特征:使用融合注意力机制的可卷积长短时记忆网络对短时空特征进行编码,以充分获取手语的上下文长时空信息;在特征分类部分,引入了宽残差模块对空间特征进行精确表征从而得到连续手语的最终识别结果。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前15条
1 胡悦;;金融市场中的神经网络拐点预测法[J];金融经济;2017年18期
2 刘高宇;;深度神经网络在煤质数据分析与预测中的应用[J];电脑知识与技术;2019年28期
3 冯伟业;廖可非;欧阳缮;牛耀;;基于胶囊神经网络的合成孔径雷达图像分类方法[J];科学技术与工程;2019年28期
4 温赞扬;;基于群智优化神经网络的音乐风格分类模型研究[J];现代电子技术;2019年21期
5 郑丽;;建筑设计中神经网络技术与遗传算法探究[J];湖北农机化;2019年21期
6 易炜;何嘉;邹茂扬;;基于循环神经网络的对话系统记忆机制[J];计算机工程与设计;2019年11期
7 黄为;李永刚;胡上成;汪毅;;基于循环神经网络的船摇数据实时预测[J];科学技术与工程;2019年31期
8 赖策;魏小琴;;卷积神经网络的训练方式研究[J];信息与电脑(理论版);2019年22期
9 周济民;;基于神经网络改进的元胞自动机分析——美国阿片类药物滥用情况[J];信息系统工程;2019年11期
10 马猛;王明红;;基于进化神经网络的304不锈钢车削加工表面粗糙度预测[J];轻工机械;2019年06期
11 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期
12 吴立可;;脉冲神经网络和行为识别[J];通讯世界;2018年12期
13 林嘉应;郑柏伦;刘捷;;基于卷积神经网络的船舶分类模型[J];信息技术与信息化;2019年02期
14 俞颂华;;卷积神经网络的发展与应用综述[J];信息通信;2019年02期
15 韩真;凯文·哈特尼特;;为神经网络的通用理论建造基石[J];世界科学;2019年04期
中国重要会议论文全文数据库 前10条
1 孙军田;张喆;;基于神经网络数据挖掘技术确定灾害等级的灭火救援出动力量模型研究[A];2016中国消防协会科学技术年会论文集[C];2016年
2 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
3 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
4 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
5 李涛;费树岷;;具有变时滞Cohen-Grossberg神经网络的指数稳定性准则[A];第二十六届中国控制会议论文集[C];2007年
6 汪灵枝;秦发金;;具有变时滞和脉冲的离散Cohen-Grossberg神经网络的周期解[A];中国自动化学会控制理论专业委员会D卷[C];2011年
7 韩正之;林家骏;;用神经网络求解非线性相容方程[A];1993年控制理论及其应用年会论文集[C];1993年
8 林家骏;王赞基;;求解不可微优化问题的连续极大熵神经网络[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
9 姜德宏;徐德民;任章;;基于神经网络的自校正控制器[A];1993中国控制与决策学术年会论文集[C];1993年
10 窦永丰;贝超;;模糊与神经网络结合方式及在控制中的应用[A];1997年中国控制会议论文集[C];1997年
中国博士学位论文全文数据库 前10条
1 刘昂;微结构硅基光子学器件性能的研究[D];南京大学;2019年
2 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年
3 付钱华;忆阻神经网络的动力学研究[D];电子科技大学;2019年
4 张马路;Spiking机器学习算法研究[D];电子科技大学;2019年
5 杜昌顺;面向细分领域的舆情情感分析关键技术研究[D];北京交通大学;2019年
6 陈涵瀛;核电站热工水力系统工况预测与诊断方法研究[D];哈尔滨工程大学;2018年
7 梁智杰;聋哑人手语识别关键技术研究[D];华中师范大学;2019年
8 饶红霞;信息受限下神经网络的状态估计和拟同步研究[D];广东工业大学;2019年
9 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年
10 陈科海;机器翻译上下文表示方法研究[D];哈尔滨工业大学;2019年
中国硕士学位论文全文数据库 前10条
1 白会杰;基于人工智能的光伏发电短期功率预测技术[D];北京交通大学;2019年
2 张荣葳;基于卷积神经网络与SimHash的网络异常流量检测技术研究[D];中国工程物理研究院;2019年
3 张超利;基于神经网络的河南省空气污染预测研究[D];华北水利水电大学;2019年
4 范汝鑫;基于深度神经网络的个性化商品推荐研究[D];合肥工业大学;2019年
5 贾凯;人工蜂群算法与BP神经网络并行集成学习研究[D];合肥工业大学;2019年
6 黄国维;基于深度学习的城市垃圾桶智能分类研究[D];安徽理工大学;2019年
7 江白华;基于深度学习的人脸识别研究[D];安徽理工大学;2019年
8 侯栋楠;基于深度特征学习的振动状态识别方法[D];华北电力大学;2019年
9 肖炜茗;基于Bernstein多项式和阶梯路径构造的前向插值神经网络及逼近能力[D];天津师范大学;2019年
10 强硕;基于神经网络的电锅炉动态过程建模研究[D];华北电力大学;2019年
中国重要报纸全文数据库 前10条
1 张允硕 姜正义 甄海锋 河南理工大学;[N];科学导报;2019年
2 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;[N];湖北日报;2019年
3 记者 刘霞;[N];科技日报;2017年
4 整理 本报记者 诸玲珍 顾鸿儒;[N];中国电子报;2018年
5 ;[N];电子报;2018年
6 张敏;[N];北京日报;2017年
7 ;[N];中国企业报;2017年
8 本报记者 龚丹韵;[N];解放日报;2017年
9 ;[N];中国企业报;2017年
10 张斌;[N];文汇报;2017年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|