bck

收藏本站

机器翻译上下文表示方法研究

【摘要】:近些年,通过大规模神经网络将自然语言单元表示为连续空间向量用以代替传统的离散符号的方法,极大地提升了各种自然语言处理任务的性能。机器翻译作为自然语言处理领域中最具挑战性的研究任务之一,从最初利用神经网络方法改善统计机器翻译模型,再到构建端到端的神经网络机器翻译模型,机器翻译取得了巨大的进步。面向机器翻译的神经网络方法通常基于句子中的上下文信息来隐式地学习源端句子表示和目标端译文生成。由此可见,上下文信息在机器翻译中扮演着极为重要的角色。神经网络方法能够通过连续空间的向量捕获翻译上下文信息和被预测目标单词之间的语义相似性,但由于神经网络的训练具有较高的时空复杂度,导致其仅仅在词级别上来模拟翻译上下文信息用于生成目标语言翻译。直观上,一个自然语言句子的构成,不仅包括基本的词级别信息,而且包括高阶上下文信息,比如局部上下文、结构化上下文和句子级主题上下文等信息。与基本的单词信息相比,这些具有丰富翻译知识的上下文信息往往会导致大规模的高阶上下文单元,而直接通过神经网络建模又会面临严重的数据稀疏性问题和极大的时空复杂度。为此,本文首先探索如何利用神经网络来表示机器翻译中的高阶上下文单元,并以基于依赖的双语上下文为切入点在统计机器翻译中进行了有效性验证。其次,基于这种高阶上下单元表示方法,依次从局部上下文、结构化上下文和句子级上下文等三个层面对神经网络机器翻译的上下文表示方法展开研究,使得神经网络机器翻译能够捕获更加丰富有效的翻译知识来改善翻译预测。因此,本文主要内容包括以下四个方面:1.在机器翻译中,高阶上下文单元能够编码更多的上下文信息用于翻译预测。但这些高阶上下文单元往往面临着严重的数据稀疏性问题,进而难以捕获上下文中的结构化信息。同时,传统的离散符号表示方法也难以捕获翻译上下文与被预测目标语言单词之间的语义相似性。因此,本文提出了一种基于依赖的神经网络联合模型,既能够通过神经网络来捕获语义相似性,又能够通过卷积架构的语义组合属性极大地缓解由高阶上下文单元所引起的数据稀疏性问题,进而能够有效的捕获翻译上下文中的长距离依赖信息用于翻译预测。通过在统计机器翻译模型上的实验,验证了这种新的方法显著地优于传统的基于离散符号的上下文表示方法,尤其是通过显式地编码源端长距依赖约束,超过了著名的基于词序列的神经网络联合模型。2.在自然语言中存在着大量的多义词,也即一个单词往往可以表示多种不同的含义。在现有的神经网络机器翻译模型中,不论一个单词具有多少种不同的含义,都会被表示为一个单一的实值向量来编码这个单词的所有含义。在学习源端句子表示时,编码器不能充分地捕获源端句子中的多义词信息,进而导致注意力机制所学习到的上下文向量难以生成正确的目标单词翻译。而当源端句子中包含有集外词(未被词汇表所覆盖的单词)时,这个问题会变得更为严重。为此,本文提出了一种基于局部上下文的词汇表示方法来为每一个源端单词动态地学习一个特定句子的局部上下文向量用以强化神经网络机器翻译框架的词嵌入层,进而改善单词(尤其是多义词和集外词)的向量表示和翻译。3.神经网络机器翻译模型通常依靠神经网络顺序地处理源端输入来隐式地编码源语言句子中的句法和语义信息,而未曾显式地考虑翻译上下文中的结构化信息。在统计机器翻译中,结构化翻译知识已经被证明有益于翻译预测。为此,本文提出了两种新的方法(包括源端依赖表示方法和句法导向注意力方法),用以将源端长距离依赖上下文信息引入到现有的神经网络机器翻译模型中,使得翻译模型能够捕获那些在句法上更为相关的源端上下文信息来改善翻译预测。4.神经网络机器翻译模型通常聚焦于词级上下文信息来预测目标语言单词,而未考虑句子级上下文信息。在自然语言中,一个单词往往在不同的主题(或领域)中具有不同的含义。而在神经网络机器翻译模型中,一个单词往往在不同的句子中具有不同的主题,甚至在一个单词在同一个句子中可能具有不止一个主题。这意味着句子级上下文信息中包含了单词的主题信息。因此,本文提出了一种句子级主题上下文表示方法,将句子级上下文信息表示为一种隐含主题向量序列,并通过注意力机制将其引入到现有的神经网络机器翻译模型中用于改善翻译预测。这种方法能够与现有的神经网络机器翻译模型进行一体化训练,进而联合学习句子级主题上下文信息和目标单词的翻译。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前15条
1 胡悦;;金融市场中的神经网络拐点预测法[J];金融经济;2017年18期
2 刘高宇;;深度神经网络在煤质数据分析与预测中的应用[J];电脑知识与技术;2019年28期
3 冯伟业;廖可非;欧阳缮;牛耀;;基于胶囊神经网络的合成孔径雷达图像分类方法[J];科学技术与工程;2019年28期
4 温赞扬;;基于群智优化神经网络的音乐风格分类模型研究[J];现代电子技术;2019年21期
5 郑丽;;建筑设计中神经网络技术与遗传算法探究[J];湖北农机化;2019年21期
6 易炜;何嘉;邹茂扬;;基于循环神经网络的对话系统记忆机制[J];计算机工程与设计;2019年11期
7 黄为;李永刚;胡上成;汪毅;;基于循环神经网络的船摇数据实时预测[J];科学技术与工程;2019年31期
8 赖策;魏小琴;;卷积神经网络的训练方式研究[J];信息与电脑(理论版);2019年22期
9 周济民;;基于神经网络改进的元胞自动机分析——美国阿片类药物滥用情况[J];信息系统工程;2019年11期
10 马猛;王明红;;基于进化神经网络的304不锈钢车削加工表面粗糙度预测[J];轻工机械;2019年06期
11 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期
12 吴立可;;脉冲神经网络和行为识别[J];通讯世界;2018年12期
13 林嘉应;郑柏伦;刘捷;;基于卷积神经网络的船舶分类模型[J];信息技术与信息化;2019年02期
14 俞颂华;;卷积神经网络的发展与应用综述[J];信息通信;2019年02期
15 韩真;凯文·哈特尼特;;为神经网络的通用理论建造基石[J];世界科学;2019年04期
中国重要会议论文全文数据库 前10条
1 孙军田;张喆;;基于神经网络数据挖掘技术确定灾害等级的灭火救援出动力量模型研究[A];2016中国消防协会科学技术年会论文集[C];2016年
2 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
3 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
4 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
5 李涛;费树岷;;具有变时滞Cohen-Grossberg神经网络的指数稳定性准则[A];第二十六届中国控制会议论文集[C];2007年
6 汪灵枝;秦发金;;具有变时滞和脉冲的离散Cohen-Grossberg神经网络的周期解[A];中国自动化学会控制理论专业委员会D卷[C];2011年
7 韩正之;林家骏;;用神经网络求解非线性相容方程[A];1993年控制理论及其应用年会论文集[C];1993年
8 林家骏;王赞基;;求解不可微优化问题的连续极大熵神经网络[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
9 姜德宏;徐德民;任章;;基于神经网络的自校正控制器[A];1993中国控制与决策学术年会论文集[C];1993年
10 窦永丰;贝超;;模糊与神经网络结合方式及在控制中的应用[A];1997年中国控制会议论文集[C];1997年
中国博士学位论文全文数据库 前10条
1 刘昂;微结构硅基光子学器件性能的研究[D];南京大学;2019年
2 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年
3 付钱华;忆阻神经网络的动力学研究[D];电子科技大学;2019年
4 张马路;Spiking机器学习算法研究[D];电子科技大学;2019年
5 杜昌顺;面向细分领域的舆情情感分析关键技术研究[D];北京交通大学;2019年
6 陈涵瀛;核电站热工水力系统工况预测与诊断方法研究[D];哈尔滨工程大学;2018年
7 梁智杰;聋哑人手语识别关键技术研究[D];华中师范大学;2019年
8 饶红霞;信息受限下神经网络的状态估计和拟同步研究[D];广东工业大学;2019年
9 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年
10 陈科海;机器翻译上下文表示方法研究[D];哈尔滨工业大学;2019年
中国硕士学位论文全文数据库 前10条
1 白会杰;基于人工智能的光伏发电短期功率预测技术[D];北京交通大学;2019年
2 张荣葳;基于卷积神经网络与SimHash的网络异常流量检测技术研究[D];中国工程物理研究院;2019年
3 张超利;基于神经网络的河南省空气污染预测研究[D];华北水利水电大学;2019年
4 范汝鑫;基于深度神经网络的个性化商品推荐研究[D];合肥工业大学;2019年
5 贾凯;人工蜂群算法与BP神经网络并行集成学习研究[D];合肥工业大学;2019年
6 黄国维;基于深度学习的城市垃圾桶智能分类研究[D];安徽理工大学;2019年
7 江白华;基于深度学习的人脸识别研究[D];安徽理工大学;2019年
8 侯栋楠;基于深度特征学习的振动状态识别方法[D];华北电力大学;2019年
9 肖炜茗;基于Bernstein多项式和阶梯路径构造的前向插值神经网络及逼近能力[D];天津师范大学;2019年
10 强硕;基于神经网络的电锅炉动态过程建模研究[D];华北电力大学;2019年
中国重要报纸全文数据库 前10条
1 张允硕 姜正义 甄海锋 河南理工大学;[N];科学导报;2019年
2 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;[N];湖北日报;2019年
3 记者 刘霞;[N];科技日报;2017年
4 整理 本报记者 诸玲珍 顾鸿儒;[N];中国电子报;2018年
5 ;[N];电子报;2018年
6 张敏;[N];北京日报;2017年
7 ;[N];中国企业报;2017年
8 本报记者 龚丹韵;[N];解放日报;2017年
9 ;[N];中国企业报;2017年
10 张斌;[N];文汇报;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|