bck

收藏本站

基于视觉的文本生成方法研究

【摘要】:近些年来伴随着网络上视频和图像的大量的生成,怎样能够让用户更加轻松和便捷的了解这些大量的数据成为了一个目前很大的问题。对于用户来说,最直接的方法就是用文本的信息将视频或者图片的信息进行一个简单的规纳和总结。而对于计算机来说,如果能够用完整的语句来描述视频图像中的具体内容,或者是能够回答出针对图片的一个相关的问题,我们才能说计算机是真正的理解了这个图像视频。基于以上所述,怎样将计算机视觉中的内容与语言文本的内容很好的连接起来是我们在计算机视频领域的一个重大的问题。越来越多的研究人员在这方面做了大量的工作。在此之上的研究一直保持着持续的进步,但是同时仍然有很多关键性的问题没有被解决。在本文中我们主要从几个不同的角度来探讨计算机视频和语言之间的关联。首先,直接的从视频或者图片生成一个描述性的语句是这之中非常关键的问题之一。目前来说,这个问题还有许多的限制,特别是针对视频文本的生成。已有的视频描述文本的数据并不足以支持生成良好的描述性语句,并且现在的方法大多都没有完全的考虑视频图像本身很多结构化的信息,只是单纯的把它们做为一个特征集合,失去了很多视频本质的结构信息。此外,给出一个特定的视频或者图像,对于给出的一个相关性问题,如何让计算机自动生成一个正确的回答同样是另一个关键性的问题。在这之中,最重要的解决的线索是什么呢?最后,我们怎么样才能很好有机的将图像视频和文本用一种最为直接明显的方式联合起来,从而展示给用户最感兴越的部分也是我们希望解决的一步。基于以上的观察与分析,这篇论文做了详实的在计算机视觉和文本之间的讨论与探究,主要有以下几个重要的进展:1.我们建立了一个新的生成视频描述文本的数据集。通过3,400小时个人工标注的工时,我们得到了大量丰富,标注好有组织性的视频和文本的数据组以便于算法的优化与提高。这个数据集包含了最为广泛的视频的种类和目前为止最大的标注句子的集合。我们在这之上组了丰富的基于RNN以及其变种的实验并进行了分析和比较。截至写作之时,我们的数据集已经有全世界超过100个单位在使用,论文引用量超过了 120。2.为了更好地探讨视频结构的特征在计算机视觉和文本之间的关系,我们进一步提出一种全新的多模态注意力模型机制MA-LSTM来生成视频文本。我们提出的MA-LSTM的方法可以充分的将视频的多模态的信息考虑进去,并且采用了多层的注意力模型机制来选择最有用的时间域的元素和模态。另外,我们还提出了一种child-sum的多模态融合单元将不同模态之间的信息合并形成更好的视频特征表达。3.通过增加基于图像的物体的具体检测和属性的识别,我们将faster-rcnn的网络结构加了我们的视频图像文本生成和视觉对话问答的任务当中做为我们研究的另一个重要部分。在加人物体和其属性的信息于其中之后,系统能够更好的理解图像中包括的各个部分让其对图像有一个更加深入的理解,这使得我们的视频图像文本生成和视觉对话问答都有了进一步的效果上的提高。4.为了更好地结合视觉内容和文本,给用户以更良好的体验,我们提出了一个新的系统模型方法用来建立了一个生动的故事板来展示事件的发生以及相关的图片。做为一个具体的应用,我们从搜索引擎的日志中充分的挖掘和归纳出各个社交事件,并且采用我们的算法得到与其最为匹配的图片来做为我们的故事板的部分。并且,我们还做了真实的手机上的应用来将这一结合更好的展现出来。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前20条
1 何绪铜;;深度追问,促进学生深度思考——以人教版小学数学四年级下册“观察物体(二)”一课教学为例[J];小学教学参考;2016年35期
2 陈侠;;指导学生理性观察的思考与实践——以观察生物器官为例[J];中学生物学;2016年12期
3 孙学东;;一次函数图象为什么是一条直线[J];中学数学杂志;2017年02期
4 马振萍;;“深度学习”视角下《碳的单质(课时1)》的教学[J];教育视界;2017年07期
5 濮姚良;;沐数学之光,享实验之果[J];数学大世界(中旬);2017年08期
6 林柏雨;;引导学生深度学习[J];知识经济;2016年02期
7 李开菊;郑波尽;;浅谈深度学习[J];软件;2016年05期
8 徐芳芳;;促进深度学习翻转课堂的知识内容设计研究[J];中国现代教育装备;2016年21期
9 张文强;;基于学讲计划的科学高效课堂的构建[J];科学大众(科学教育);2018年04期
10 徐宾;;基于“深度学习”的化学教学须把握好“五个度”[J];中小学教师培训;2016年03期
11 邢红琴;;浅谈如何让初中数学课堂深度学习更具有效性[J];数理化解题研究;2016年09期
12 吴孙富;秦丽;张圣涛;;例谈深度学习与深度教学的关系[J];化学教学;2016年05期
13 王刚;;促成深度学习的深度课堂观察[J];教学与管理;2016年28期
14 张静;杨文正;;面向深度学习的信息化教学案例评析与策略研究[J];教学与管理;2014年15期
15 杨琼;;网络环境下基于深度学习的信息技术教师专业成长[J];中小学电教;2013年05期
16 石海良;;“深度教学”课堂的几种设计形式[J];地理教学;2017年21期
17 张发新;;促进学生深度学习的作业设计[J];中学化学教学参考;2015年17期
18 阙建立;;智能矿山平台建设与实现[J];工矿自动化;2018年04期
19 胡胤;黄启权;;深度学习在身份证字符识别中的应用研究[J];数码世界;2018年03期
20 朱海潮;刘铭;秦兵;;基于指针的深度学习机器阅读理解[J];智能计算机与应用;2017年06期
中国重要会议论文全文数据库 前10条
1 陆青;储以微;;形成性评价促进深度学习[A];第十二届全国免疫学学术大会分会场交流报告集[C];2017年
2 吴正午;朱恩成;蒋昊东;;深度学习在装备信息保障中的应用研究[A];第四届中国指挥控制大会论文集[C];2016年
3 贾永坡;;基于深度学习的板坯低倍质量评级系统[A];第十一届中国钢铁年会论文集——S18.冶金自动化与智能管控[C];2017年
4 惠国保;;基于深度学习的自动目标识别技术[A];第四届中国指挥控制大会论文集[C];2016年
5 邵海东;姜洪开;王福安;;基于深度学习的飞机关键部件故障诊断研究[A];2016年航空科学与技术全国博士生学术论坛摘要集[C];2016年
6 张波;倪佳敏;楼颖祯;陈慧霖;张石清;;基于深度置信网络的语音情感识别研究[A];第十三届全国人机语音通讯学术会议(NCMMSC2015)论文集[C];2015年
7 王强;曾向阳;;深度学习方法及其在水下目标识别中的应用[A];中国声学学会水声学分会2015年学术会议论文集[C];2015年
8 丁星光;李雅;赖玮;陶建华;;基于深度学习的韵律结构预测[A];第十三届全国人机语音通讯学术会议(NCMMSC2015)论文集[C];2015年
9 刘浏;;城市影像研究:从“大数据”走向“学习时代”[A];规划60年:成就与挑战——2016中国城市规划年会论文集(04城市规划新技术应用)[C];2016年
10 安晓春;杨鸿武;甘振业;;手语到普通话/藏语语音转换系统的实现[A];第十三届全国人机语音通讯学术会议(NCMMSC2015)论文集[C];2015年
中国博士学位论文全文数据库 前10条
1 徐俊;基于视觉的文本生成方法研究[D];中国科学技术大学;2018年
2 周浩;基于神经网络的句法分析研究[D];南京大学;2017年
3 于政;基于深度学习的文本向量化研究与应用[D];华东师范大学;2016年
4 于墨;自然语言句子级结构表示的建模与学习[D];哈尔滨工业大学;2016年
5 冯子勇;基于深度学习的图像特征学习和分类方法的研究及应用[D];华南理工大学;2016年
6 王宝勋;面向网络社区问答对的语义挖掘研究[D];哈尔滨工业大学;2013年
7 夏丁胤;互联网图像高效标注和解译的关键技术研究[D];浙江大学;2010年
8 梅晓光;傅里叶变换红外超光谱数据分类方法研究[D];华中科技大学;2016年
9 田飞;用于自然语言分布式表达的联合学习方法研究[D];中国科学技术大学;2016年
10 史振国;认知OFDM系统中频谱感知与基于感知的干扰对齐方法研究[D];哈尔滨工业大学;2016年
中国硕士学位论文全文数据库 前10条
1 马文圣;面向微博的新词情感倾向性研究[D];北京邮电大学;2016年
2 林妙真;基于深度学习的人脸识别研究[D];大连理工大学;2013年
3 施维蒨;门限玻尔兹曼机在人脸识别中的鲁棒性研究[D];北京交通大学;2015年
4 吕丽芬;网络环境下开展学习叙事促进学生深度学习研究[D];浙江师范大学;2011年
5 刘路;大学生深度学习的内涵与结构模型研究[D];湖北师范大学;2016年
6 廖智勇;网络环境下促进大学生深度学习的研究[D];南昌大学;2014年
7 袁晶;利用教材促进高三学生深度学习的教学策略研究[D];上海师范大学;2013年
8 杨浩;深度学习与主成分分析融合的研究与应用[D];成都理工大学;2016年
9 王宇峰;文本情感分析及其应用研究[D];中北大学;2018年
10 马景法;基于深度学习的场景文字检测与识别[D];华南理工大学;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|