bck

收藏本站

语义认知的文本编码器的研究与实现

【摘要】:人工智能主要包含运算智能、感知智能、认知智能三个不同的层次,目前来说认知智能的实现已经是学术界和工业界研究的热门方向。由于文本编码的结果可以应用于文本分类、情感分析、句法分析、自动问答等多种自然语言处理任务,实现语义认知智能的文本编码器即成为了现有的研究热点。本文首先结合了国内外研究现状,总结了实现一个语义认知编码器所存在的两大难点——多义不确定性和任务不确定性。近几年,深度学习已经成为文本编码器的主流方法,但是无论是现有的卷积神经网络还是循环神经网络,都无法很好的处理多义不确定性和任务不确定性的问题。从2018年6月开始,Google开发的预训练网络BERT出现,2019年又提出了 XLNet和T5等模型,可以较好的解决任务不确定问题,但是这类预训练模型其参数量也显著高于其他对比模型,因此需要大量的预训练数据集,无法在实时系统(如在线参数学习系统)上应用。针对目前现有文本编码器的缺点,本文提出了两种具有创新性和实用性的文本编码器,分别是基于多原型的语义认知编码器和基于预训练的语义认知编码器。前者具有较小的参数量和训练代价,并且经过实验验证可知其效果优于同等参数量级的深度学习网络。后者依托于BERT模型,在BERT基础上进一步提高了其在各个数据集上的性能表现,并且在对参数量不设限的情况下,后者的编码效果会比前者更好。两种编码器的结构都可以通过有效的编码方式处理多义不确定性和任务不确定性两个主要难题。其中,二者都引入了在自然语言处理任务中极少出现的反卷积神经网络作为文本编码器的一部分,可以有效的处理多义不确定性的问题。同时,基于多原型的语义认知编码器通过端到端训练的网络结构,有效的处理了任务不确定性的难题。另外,为了分析两种编码器具体能否处理多义不确定性和任务不确定性两个难题,本文还引入文本反卷积显著性检验和奇异值分解两种方式,对两种编码器的编码结果进行可视化,深度验证了两种编码器的语义认知能力。本文选取了三种数据集,分别是自然语言理解数据集GLUE(共9项任务),文本分类公开数据集(共3项任务)和SQuAD数据集,对两种不同的编码器进行了多角度的实验验证,两种语义认知的编码器在各个数据集上的表现均超过了基准编码器,从应用角度验证了语义认知编码器的实用性和有效性。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前16条
1 滕祖伟;周杰华;;基于变分自编码器的异常小区检测[J];移动通信;2020年12期
2 任朝晖;;转炉系统常用编码器选型及调试[J];科学技术创新;2021年05期
3 刘梦玲;;基于自编码器的影片个性化推荐模型研究[J];长江信息通信;2021年02期
4 邵俊;张磊;;基于自编码器的半监督学习方法[J];金融科技时代;2021年06期
5 秦佳奇;许源源;;基于变分自编码器的异常负荷检测算法研究[J];电子技术与软件工程;2021年07期
6 张洪国;赵辉;徐连波;;基于神经网络的磁编码器补偿算法研究[J];微电机;2021年05期
7 肖思宇;吴丁娟;;基于神经网络与模糊理论的模糊自编码器[J];信息技术;2020年04期
8 林涛;赵成林;刘航鹏;赵参参;;基于改进栈式自编码器的风电机组发电机健康评估[J];计算机工程与科学;2020年03期
9 钟昕孜;廖闻剑;;基于自编码器的语音情感识别方法研究[J];电子设计工程;2020年06期
10 田志新;;定位编码器在钢丝绳检测中的应用与研究[J];中国石油和化工标准与质量;2020年03期
11 唐坚;胡鹏;郭星;;一种基于绝对值编码器的压力机装模高度标定方法[J];锻压装备与制造技术;2020年03期
12 张中华;;一种编码器检测维修工作台[J];港口科技;2020年04期
13 王小军;杨波;梁琨;;一种基于硬件补偿的机电编码器系统[J];电子测量技术;2020年12期
14 汪鹏;何清波;;基于参数稀疏自编码器的旋转机械故障诊断[J];机械与电子;2020年07期
15 张宏;;门座式起重机起升电机编码器固定方式的改进[J];工程机械与维修;2020年05期
16 赵映川;;编码器原理与应用分析[J];无线互联科技;2018年22期
中国重要会议论文全文数据库 前20条
1 白永威;夏加宽;季慧颖;;基于CPLD的编码器抗干扰电路设计与实现[A];第十三届沈阳科学学术年会论文集(理工农医)[C];2016年
2 张磊;夏传浩;洪一;;使用纠错技术的8b/10b编码器设计[A];全国第22届计算机技术与应用学术会议(CACIS·2011)暨全国第3届安全关键技术与应用(SCA·2011)学术会议论文摘要集[C];2011年
3 刘靖;李立;张兴;董文亮;郑利元;;首钢智新连退线编码器故障预警功能开发[A];2019年第二届钢铁工业智能制造发展论坛会议论文集[C];2019年
4 ;堡盟微米级精度绝对值编码器[A];高速铁路与轨道交通(领航版)[C];2015年
5 李博;;编码器在宽厚板中的控制应用[A];中国计量协会冶金分会2015年会论文集[C];2015年
6 ;堡盟最新推出超速开关组合式重载编码器[A];高速铁路与轨道交通(证券版)[C];2016年
7 杨柳;薛方;;形状自适应可扩缩编码器的研究与实现[A];全国第十四届计算机科学及其在仪器仪表中的应用学术交流会论文集[C];2001年
8 郝双晖;刘勇;周春蛟;刘杰;;基于标定原理的单磁极编码器设计[A];2005全国自动化新技术学术交流会论文集(三)[C];2005年
9 陈成;;连铸自动化系统编码器软件设计[A];全国冶金自动化信息网2018年会论文集[C];2018年
10 贺庚贤;;一种高精度编码器的检测方法[A];第九届全国光学测试学术讨论会论文(摘要集)[C];2001年
11 蔡智威;关存太;陈永彬;;一种4KbpsCELP编码器的实现[A];第三届全国人机语音通讯学术会议(NCMMSC1994)论文集[C];1994年
12 郑君民;陶旭牧野;陈默;陈昊;沈桂旭;奚学程;赵万生;;基于编码器-播放器体系的电火花线切割加工数控系统原型[A];第16届全国特种加工学术会议论文集(上)[C];2015年
13 蒋毅飞;李俊;范好好;牟伦刚;;不使用查找表的高速统一8B/10B编码器[A];第十八届计算机工程与工艺年会暨第四届微处理器技术论坛论文集[C];2014年
14 续志军;洪喜;;径向基网络在编码器误差补偿中的应用[A];高精度几何量光电测量与校准技术研讨会论文集[C];2008年
15 刘岩;罗晓军;;绝对型编码器在高炉上料系统中的应用[A];2010年全国炼铁生产技术会议暨炼铁学术年会文集(下)[C];2009年
16 李红;;编码器的功能应用及维护[A];2019中国制浆造纸自动化技术与智能制造研讨会论文集[C];2019年
17 黎世杰;;多圈绝对式编码器的应用原理[A];《IT时代周刊》论文专版(第317期)[C];2015年
18 ;堡盟HOG86E重载编码器 只注重功能[A];《今日轨道交通》创新版2015年01月[C];2015年
19 刘海龙;肖海峰;贺昱曜;;基于正余弦编码器的位置细分技术综述[A];第十八届中国小电机技术研讨会论文集[C];2013年
20 康芳;佟兴嘉;张建亮;;磁性编码器在航空动力燃油系统试验中的应用[A];2012航空试验测试技术学术交流会论文集[C];2012年
中国博士学位论文全文数据库 前20条
1 胡聪;基于自编码器和生成对抗网络的图像识别方法研究[D];江南大学;2019年
2 刘凯;静止图像编码器的实现结构研究[D];西安电子科技大学;2005年
3 朱炳强;高清实时编码器中帧间预测器的关键技术研究[D];清华大学;2010年
4 周高祥;结合深度自编码器与Landsat时间序列的森林扰动监测方法研究[D];中国地质大学(北京);2020年
5 赵丹;基于自编码器结构的无监督学习算法研究及其应用[D];西安电子科技大学;2020年
6 王莹;Turbo码中几个关键技术研究[D];西安电子科技大学;2006年
7 阮玉平;基于深度学习的自然语言语义表征计算方法研究[D];中国科学技术大学;2020年
8 邸志雄;HDL代码质量评估方法关键技术研究与电路性能优化[D];西安电子科技大学;2013年
9 王洪君;H.264运动估计快速算法研究及编码器DSP实现[D];天津大学;2009年
10 王涛;视频编解码器设计与实现关键问题研究[D];上海交通大学;2008年
11 吕德刚;集成霍尔磁编码器的研究[D];哈尔滨工业大学;2009年
12 左洋;基于非均匀采样光电编码器细分误差的分析方法研究[D];中国科学院研究生院(长春光学精密机械与物理研究所);2015年
13 汪子扬;数据驱动的复杂连续过程监测方法[D];浙江大学;2019年
14 庄怀宇;内嵌图像编码中高效码率控制技术研究[D];西安电子科技大学;2006年
15 王正海;宽带无线通信系统中Turbo码编码技术优化方法的研究[D];武汉大学;2011年
16 孙健;基于并行流水线结构的高速图像压缩技术研究[D];中国科学院研究生院(光电技术研究所);2015年
17 庞朝阳;向量量化与图像压缩——理论分析、算法设计、应用、实现[D];电子科技大学;2002年
18 徐士麟;基于人眼观测特性的视频编码技术研究[D];华中科技大学;2009年
19 马翼萱;基于深度学习的在线劳动力市场招聘决策问题研究[D];北京交通大学;2020年
20 郑凯;超导纳米线逻辑器件的研究与应用[D];南京大学;2020年
中国硕士学位论文全文数据库 前20条
1 张智轩;语义认知的文本编码器的研究与实现[D];北京邮电大学;2020年
2 迟涵文;绝对式磁编码器的设计[D];杭州电子科技大学;2019年
3 黄姗姗;磁编码器的设计与实现[D];东南大学;2019年
4 李斐然;基于霍尔原理的绝对式磁编码器的研究[D];哈尔滨工业大学;2015年
5 冯立锋;面向高精度伺服系统的磁电式编码器研究[D];哈尔滨工业大学;2014年
6 徐彬;基于FPGA的模拟量编码器接口电路的设计与实现[D];江西科技师范大学;2014年
7 武亭;一种复合式磁编码器的研究[D];哈尔滨工业大学;2011年
8 张荣;容栅编码器研究及其应用[D];同济大学;2007年
9 崔建勇;快速稀疏编码器的研究及应用[D];大连理工大学;2014年
10 侯嘉;角度编码器标定技术研究[D];中国计量大学;2019年
11 鲁亚平;面向深度网络的自编码器研究[D];苏州大学;2016年
12 薛继卓;新型磁电式多圈绝对编码器设计[D];黑龙江大学;2015年
13 周雪连;基于FPGA的高分辨率磁编码器研究[D];华南理工大学;2012年
14 张恩勇;数字编码器的智能控制[D];电子科技大学;2004年
15 郑鑫;磁编码器的智能化设计[D];华南师范大学;2004年
16 乔磊磊;基于栈式自编码器神经网络的股价预测[D];华侨大学;2020年
17 王雅思;深度学习中的自编码器的表达能力研究[D];哈尔滨工业大学;2014年
18 沈宏才;基于误差补偿原理的高精度磁编码器算法的研究[D];哈尔滨工业大学;2019年
19 孙成;基于双自编码器的茶产品推荐研究[D];安徽农业大学;2019年
20 魏冬冬;高精度编码器数字化接口的研究与实现[D];合肥工业大学;2017年
中国重要报纸全文数据库 前20条
1 本报记者 徐微;[N];长春日报;2019年
2 MEB记者 张兰;[N];机电商报;2017年
3 本报记者 李文洁;[N];东莞日报;2014年
4 本报记者 丹璐;[N];中国电子报;2014年
5 贺顺华;[N];中国纺织报;2009年
6 中国工业报记者 王斌;[N];中国工业报;2019年
7 记者 谢晓燕 通讯员 卢达 李院红;[N];邢台日报;2013年
8 任可;[N];科技日报;2009年
9 陈运发;[N];机电商报;2009年
10 ;[N];今日信息报;2004年
11 成都 陈宏城;[N];电子报;2011年
12 ;[N];中国包装报;2004年
13 本报记者 张琳婉;[N];长春日报;2018年
14 人行吉林中心支行科技处 刘志明;[N];中国计算机报;2001年
15 本报记者 刘屹辰 通讯员 邓旭;[N];威海日报;2020年
16 江西 廖勇;[N];电子报;2001年
17 记者 吕海清通讯员 薛红 王楠;[N];中国石油报;2007年
18 成都 陈宏城;[N];电子报;2011年
19 本报通讯员 陈树清 朱一知 周铭;[N];中国冶金报;2016年
20 ;[N];网络世界;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|