收藏本站

主存储服务系统中高I/O性能的重复数据删除技术研究

【摘要】:随着数字信息量的爆炸式增长,数据占用的空间越来越大,存储系统的容量从数十GB发展到数百TB、甚至PB量级。面对数据量的急剧膨胀,企业需要不断购置大量的存储设备来应对不断增长的存储需求,管理和保存数据的成本急剧上升,存储技术和存储产业正面临着由庞大需求而带来的巨大挑战。重复数据删除技术是存储系统中的关键技术,通过检测并删除冗余数据来优化存储空间、提高网络带宽利用率和降低运营成本。在需求的推动下,重复数据删除技术成为近几年学术界和工业界的研究热点,并正被愈加广泛地应用到各种信息存储系统。目前,大多数重复数据删除产品针对备份和归档存储服务系统,用于节省空间和优化性能。然而,随着社交网络、云存储服务模式的兴起,主存储服务系统中越来越多的数据被共享,如文件、图片和视频等,在线服务的数据量日益增大,同样面临着重复数据删除的需求。与备份和归档存储服务系统不同,主存储服务系统具有数据规模巨大、数据访问复杂多样和高I/O性能需求的特征。然而,重复数据删除过程中的数据检测处理需要占用系统大量的CPU和I/O资源,极大地影响数据写操作的性能;同时,重复数据删除会使得文件数据存储碎片化,严重影响I/O读操作的性能。这些都给重复数据删除技术在主存储服务系统中的应用带来了很多挑战性问题:第一,主存储服务系统中的数据访问模式不同于备份存储服务系统,其I/O写操作的特征复杂多样,导致在主存储服务系统中进行重复数据检测将会带来极大地I/O开销。第二,现有的重复数据检测算法主要关注于如何快速定位和降低检测范围,没有充分利用已有的并行计算架构来加速问题求解。第三,现有的研究未考虑到主存储服务系统中I/O缓存对数据读取操作的优化作用,从而在衡量重复数据碎片对I/O性能的影响时,应综合考虑系统的各个层面,做出更高效的决策。第四,现有的数据碎片整理方法未能充分利用数据访问的动态信息,严重受限于重复数据删除系统中大量的数据共享关联,难以提高磁盘文件存储的连续性。针对上述技术瓶颈,本文系统地研究了主存储服务系统中高I/O性能的重复数据删除技术,从以下几个方面展开研究:针对主存储服务系统复杂的I/O访问模式,本文深入研究了典型系统中重复数据写操作的时间及空间局部性特征。基于旋转树数据结构理论,本文设计了自适应指纹缓存Leach。Leach自动学习目标系统重复数据写操作的时空局部性信息,动态地将热点及其关联数据指纹放入缓存,提高数据检测的缓存命中率;同时,针对自适应学习的I/O开销,提出了基于工作集特征的优化机制,进一步提高数据检测的效率。针对重复数据检测任务的可并行性问题,本文基于CPU+GPU的异构并行计算框架,通过将数据指纹索引组织成前缀树结构,设计和实现了一种具有高并行度的重复数据检测方法 G-Paradex。针对CPU与GPU之间数据传输的瓶颈,提出了数据指纹重组和近似检测的优化方法,减少前缀树占用的存储空间,降低CPU与GPU之间的数据传输量;针对GPU的硬件架构和并行编程特性进行了适配,提出了重复数据检测剪枝策略,大幅度降低数据检测的计算量,快速定位重复数据。针对已有算法未能充分认识重复数据碎片影响的问题,本文发现在具有I/O缓存的主存储服务系统中,重复数据碎片未必完全对I/O性能产生负面影响,在一定访问模式下反而会提升I/O性能。基于以上发现,本文设计和实现了一种I/O缓存感知的重复数据碎片优化方法 Care Dedup。通过对块设备层I/O访问信息的监测,Care Dedup分析了I/O缓存对重复数据碎片的优化以及重复数据碎片本身对数据布局的破坏,综合评估重复数据碎片对I/O性能的影响。通过建模分析,本文将面向I/O读性能的重复数据删除优化问题归约到0/1背包问题,并采用贪婪算法在给定存储空间优化的前提下最大化数据读取性能。针对已有算法未能充分考虑重复数据碎片访问特征的问题,本文探索了基于I/O访问记录的重复数据碎片布局策略Re Dedup,大幅降低了重复数据碎片对I/O性能的影响。文章通过对典型系统中文件之间的共享关联度和文件数据碎片的访问频度进行统计和挖掘,发现主存储服务系统中对重复数据文件(重复数据文件指该文件中存在重复数据,与其它文件共享数据)的访问服从典型的幂律分布,即存在一小部分重复数据文件受到的访问次数较多且开销较大,是系统性能瓶颈所在。基于此,Re Dedup通过采集和分析I/O读请求序列,记录文件之间的数据共享度和文件数据的随机访问频度,评估文件进行数据重分配对I/O性能的影响,从而选择性地进行磁盘碎片整理,合理布局重复数据碎片,最大化I/O读性能。综上所述,本文针对主存储服务系统中高I/O性能的重复数据删除技术提出了有效的解决方案,并通过在真实数据集上进行实验验证了所提算法的有效性,对于推动主存储服务系统中重复数据删除技术的研究和实用化具有一定的理论意义和应用价值。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前20条
1 ;重复数据删除可实现25:1压缩[J];每周电脑报;2007年01期
2 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[J];计算机研究与发展;2011年S1期
3 Eric Bassier;;应对数据增长的重磅武器——重复数据删除技术[J];计算机与网络;2013年06期
4 于丹;;昆腾进入重复数据删除市场[J];每周电脑报;2007年09期
5 卢敏;;“零距离”重复数据删除[J];软件世界;2008年11期
6 卢敏;;点亮“重复数据删除”[J];软件世界;2008年06期
7 徐立洋;;选购重复数据删除方案 软硬兼施剔除鸡肋数据[J];中国计算机用户;2009年08期
8 邢延刚;;删除重复值我有妙法[J];电脑迷;2009年09期
9 李刚;;重复数据删除走向“源头”[J];中国计算机用户;2009年16期
10 雷赫;;重复数据删除技术方案选型 删除冗余 优化存储[J];中国计算机用户;2009年23期
11 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期
12 王树鹏;;重复数据删除技术的发展及应用[J];中兴通讯技术;2010年05期
13 倪显利;;重复数据删除技术的应用与实践[J];中国金融电脑;2011年05期
14 胡超明;;哪些企业适合采用重复数据删除技术[J];网络与信息;2011年07期
15 付印金;肖侬;刘芳;;重复数据删除关键技术研究进展[J];计算机研究与发展;2012年01期
16 拜路;;重复数据删除技术分析及其对存储系统性能的影响[J];电脑编程技巧与维护;2012年06期
17 宋志明;;一个都不能少,重复数据也能查找[J];电脑知识与技术(经验技巧);2012年06期
18 Eric Bassier;;我该如何应对数据爆炸?——再谈重复数据删除技术[J];微电脑世界;2013年04期
19 柯婷;;基于重复数据删除的资料管理解决方案[J];计算机光盘软件与应用;2013年02期
20 Eric Bassier;;重复数据删除技术[J];办公自动化;2013年07期
中国重要会议论文全文数据库 前3条
1 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
2 杨廷梧;;基于重复数据删除的靶场试验信息存储技术[A];2009年西部光子学学术会议论文摘要集[C];2009年
3 肖钧;黄亮;;虚拟化搭配去重,双剑合璧更给力[A];2011年CAD/CAM学术交流会议论文集[C];2011年
中国博士学位论文全文数据库 前8条
1 林彬;主存储服务系统中高I/O性能的重复数据删除技术研究[D];国防科学技术大学;2014年
2 王国华;高效重复数据删除技术研究[D];华南理工大学;2014年
3 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年
4 付印金;面向云环境的重复数据删除关键技术研究[D];国防科学技术大学;2013年
5 周正达;信息存储系统中重复数据删除技术的研究[D];华中科技大学;2012年
6 杨天明;网络备份中重复数据删除技术研究[D];华中科技大学;2010年
7 朱锐;重复数据删除技术中的并行性能优化算法研究[D];华中科技大学;2013年
8 叶鹏迪;云存储系统资源管理关键技术研究[D];北京邮电大学;2014年
中国硕士学位论文全文数据库 前10条
1 王珂;一种基于代理重加密的安全重复数据删除机制的研究[D];北京邮电大学;2012年
2 沈瑞清;云存储中避免重复数据存储机制研究[D];云南大学;2013年
3 石俊杰;基于云存储的重复数据删除文件系统设计与实现[D];华中科技大学;2013年
4 胡盼盼;在线重复数据删除技术的研究与实现[D];华中科技大学;2011年
5 曾涛;重复数据删除技术的研究与实现[D];华中科技大学;2011年
6 蔡博;基于MBasedSWC-Varsize算法的重复数据消除技术研究[D];电子科技大学;2012年
7 郑寰;数据备份中基于相似性的重复数据删除的研究[D];华中科技大学;2012年
8 王重韬;重复数据删除系统的存储管理及其可靠性研究[D];华中科技大学;2012年
9 王兴;重复数据删除系统的性能优化研究[D];华中科技大学;2013年
10 卢永菁;一种高性能重复数据删除系统设计及研究[D];湖南大学;2013年
中国重要报纸全文数据库 前10条
1 本报记者 张伟;[N];中国计算机报;2008年
2 王琨月;[N];网络世界;2008年
3 本报记者 郭涛;[N];中国计算机报;2009年
4 朱皎;[N];电脑商报;2009年
5 邢小萍;[N];网络世界;2009年
6 本报记者 刑小萍;[N];网络世界;2010年
7 清水 编译;[N];计算机世界;2010年
8 编译 张磊;[N];中国计算机报;2009年
9 本报记者 郭涛;[N];中国计算机报;2012年
10 编译 沈建苗;[N];计算机世界;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|