收藏本站

协同常规-特定语义的多特征图像字幕生成

【摘要】:随着互联网带宽的大幅增加和各种移动设备的激增,Web2.0技术下图像数据已经出现爆炸性的生成,发布和传播,成为当今大数据不可或缺的一部分。然而互联网上的部分图像是无标记的,为了更有效地存储、管理、检索和利用这些数据,近年来,研究人员致力于用完整的自然语句自动描述图像的内容,即为图像字幕生成。然而,图像字幕生成是一个非常具有挑战性的任务,它不仅需要利用模型去捕获图像中呈现的对象或者场景,表达图像中对象和场景的相关性,而且还要用恰当的自然语言来描述它们。针对上述问题,本文利用深度学习方法对图像字幕生成进行了较为系统深入的研究,主要的研究成果如下:(1)提出了一种基于长短时记忆网络(Long Short Term Memory,LSTM)的从多特征序列到语句序列的图像字幕生成框架。为了更全面的描述图像特征,此方法提出分别使用基于ImageNet ILSVRC图像分类数据集训练的ResNet152提取图像中目标特征,使用基于Places365场景数据库训练的ResNet152提取图像中的场景上下文特征,利用二者的互补性全面描述目标和场景上下文特征。为了充分利用图像字幕描述时的常规语义信息,本文使用基于MSCOCO数据库训练的多实例属性分类器提取图像的视觉语义特征,作为图像视觉特征在语义先验上的补充。本文将图像的目标特征、场景上下文特征和图像的视觉语义特征序列输入到LSTM编码器,完成图像的特征表达。最后,通过LSTM解码器将该特征翻译成语言描述,基于交叉熵损失函数实现从多特征序列到自然语言序列的图像字幕生成框架的训练。本文在MSCOCO数据库上对模型进行了实验评估,对比实验结果证明相比经典方法在多个指标上均有优势。(2)提出了一种协同常规-特定语义的多特征图像字幕生成方法。为更好的表示图像的语义特征,本文提出在MSCOCO数据库上训练多实例属性分类器提取图像的常规语义属性,同时对测试图像在视觉语义嵌入空间检索其相近语义作为图像的特定语义属性,协同图像的常规和特定语义属性,作为图像的语义先验,并将其与图像的目标特征、场景上下文特征序列一起输入到LSTM编码器中作为图像的特征表示。除此之外,本文还提出在图像解码中,将特定语义作为“特定语义监督器”用于LSTM解码中候选短句之间的BLEU 4相似性监督约束,实现特定语义协同监督下的图像字幕生成。本文在MSCOCO数据库上的实验证明了协同常规和特定语义的语义属性和“特定语义监督器”的优势,同时较其它经典方法取得了更好的实验效果。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前15条
1 杨丹;张梦;朱毅;;基于深度学习的中文情感分析研究[J];电脑知识与技术;2019年21期
2 聂敏;;基于动态局部连接网络的行人再识别[J];电脑编程技巧与维护;2018年12期
3 刘芷含;李旻先;赵春霞;;遗漏负样本挖掘的行人检测方法[J];计算机与数字工程;2019年02期
4 余勇志;范博;;基于深度学习技术的宽带装维智能质检研究[J];电信技术;2019年03期
5 彭鸿元;吴恋;郑旭;张雯雯;兰腾腾;;基于深度学习的植物识别技术的发展[J];电脑知识与技术;2018年19期
6 邢世宏;杨晓东;单玉浩;;迁移学习在舰船识别中的应用[J];舰船科学技术;2018年19期
7 林子琦;;基于面向人脸验证的混合深度学习研究[J];中国新通信;2018年09期
8 缪裕青;汪俊宏;刘同来;周明;武继刚;;图文融合的微博情感分析方法[J];计算机工程与设计;2019年04期
9 廖鹏;刘宸铭;苏航;李启芳;韩延巾;;基于深度学习的学生课堂异常行为检测与分析系统[J];电子世界;2018年08期
10 何晴;郭捷;;非重叠域行人再识别算法研究[J];信息技术;2018年07期
11 詹劲松;;基于caffe的三种花的分类[J];福建师大福清分校学报;2017年05期
12 费加磊;陈宁;;基于深度学习的艺术家特性表示[J];华东理工大学学报(自然科学版);2019年01期
13 卞山峰;张庆辉;;车辆实时检测研究综述[J];电子质量;2019年02期
14 王一帆;龙彬;;早产儿视网膜病变智能筛查系统[J];现代计算机(专业版);2019年10期
15 周官皓;孙海洋;;基于改进LeNet-5的人脸识别研究[J];智能计算机与应用;2019年05期
中国重要会议论文全文数据库 前10条
1 陈乃刚;李健;曹芳;;基于FPGA的CNN单机多卡加速算法实现[A];2017电力行业信息化年会论文集[C];2017年
2 李春鹏;郭杰;康学净;;基于DeepLab的二阶段人像分割方法[A];第十三届全国信号和智能信息处理与应用学术会议论文集[C];2019年
3 宋婷;邓晓波;张晨晓;;复杂场景下基于学习网络的目标检测方法[A];2018年军工装备技术专刊论文集[C];2018年
4 崔迪;马慧姝;逯瑜娇;;基于深度学习的人脸识别[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年
5 潘金秋;桂冠;;基于深度学习的物联网智能水位监控系统[A];物联网与无线通信-2018年全国物联网技术与应用大会论文集[C];2018年
6 侯权;谢文杰;;基于CNN与ASP的核电变压器双向故障诊断模型及可视化分析[A];数字中国 能源互联——2018电力行业信息化年会论文集[C];2018年
7 刘玉莹;刘宏哲;袁家政;何乔鹏;;深度哈希在大规模图像处理中的应用[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年
8 刘一宁;牛海强;李整林;;深海中利用卷积网络的单水听器测深方法[A];中国声学学会水声学分会2019年学术会议论文集[C];2019年
9 张聪聪;何宁;;视频中的人体动作识别方法[A];中国计算机用户协会网络应用分会2019年第二十三届网络新技术与应用年会论文集[C];2019年
10 薛建明;刘宏哲;黄美玲;翁长虹;;基于深度学习的人脸识别技术研究[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年
中国博士学位论文全文数据库 前10条
1 梁敏健;智能车行车环境视觉感知关键技术研究[D];长安大学;2017年
2 郭迪;面向机器人操作的目标检测与抓取规划研究[D];清华大学;2016年
3 胡晓娟;中医脉诊信号感知与计算机辅助识别研究[D];华东师范大学;2013年
4 吕国豪;面向铁路运行环境检测的图像复原、增强及配准方法研究[D];北京交通大学;2017年
5 李涛;基于上下文的目标检测研究[D];电子科技大学;2016年
6 韩烨;基于机器学习的siRNA沉默效率预测方法研究[D];吉林大学;2017年
7 白晓东;基于图像的水稻关键发育期自动观测技术研究[D];华中科技大学;2014年
8 程爽;miRNA靶基因预测及其功能识别算法研究[D];哈尔滨工业大学;2016年
9 杨垠晖;真实感树木的逆向/智能交互建模技术[D];浙江大学;2017年
10 项导;视觉显著性物体检测方法及应用研究[D];中国科学技术大学;2016年
中国硕士学位论文全文数据库 前10条
1 金杰;多频段无设备目标定位研究[D];南京师范大学;2019年
2 张晓军;心电信息采集及心律失常检测方法研究[D];哈尔滨工业大学;2019年
3 李想;基于深度学习下视频车辆与车尾灯语识别[D];广东工业大学;2019年
4 刘恒;协同常规-特定语义的多特征图像字幕生成[D];西安电子科技大学;2019年
5 罗浩;深度视频物体检测中的时空上下文及时序调度算法研究[D];华中科技大学;2019年
6 范天岳;基于多视频关联的车辆追踪与识别[D];北京交通大学;2019年
7 Florian Rudin;[D];上海交通大学;2018年
8 杨雯;基于人脸视频的非接触式心测量算法的研究与实现[D];北京邮电大学;2019年
9 王鈃润;基于帧得分的视频摘要方法研究[D];山东大学;2019年
10 曾兵;基于深度学习的快速行人检测算法研究[D];西南科技大学;2019年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|