收藏本站

面向云数据中心的存储服务质量技术研究

【摘要】:互联网应用的蓬勃发展和数据量的爆炸式增长驱使着企业和政府机构构建面向公共服务的数据中心。数据服务中心的核心设计理念为资源服务化,即通过整合各种计算机系统资源向大量的并发应用提供资源共享服务。用户根据其存储容量和访问性能的需求直接使用存储服务,从而降低了企业的设备采购成本和数据中心的运营维护成本,并有力地推动了中小企业的信息化建设和社会生产力的发展。然而,存储服务化不可避免地引入了资源竞争及相互干扰,从而给应用的存储服务质量保证和存储系统的性能优化带来了巨大挑战。特别是在复杂的应用环境下,企业应用呈现多样性和突发性,存储平台具有异构性和复杂性,如何根据应用的需求合理地分配系统资源以保证应用的服务质量并提高数据中心的IT绩效已经成为了当前数据服务中心的关注重点。 针对应用需求的多样性和应用负载的突发性,提出了一种支持多维服务质量保证的I/O调度机制(Courier)。在面向服务的数据中心环境下,大量应用并发访问存储系统,且不同的应用有着不同的服务质量需求,尤其是延迟和带宽需求。针对此问题,Courier调度算法通过动态切换于基于反馈的延迟控制器和基于信誉分配的带宽分配算法之间以适应应用负载的动态变化。延迟控制器通过采用反馈的方式实时监控存储系统的请求服务时间及应用请求的最后期限,并判断请求的紧急性,优先处理应用中的紧急请求,从而向应用提供请求级别的优先级以应对应用负载中的突发请求。当所有请求的延迟期望得到保证时,调度器则采用基于信誉激励机制的带宽分配算法,允许应用透支限定额度的信誉以优先处理紧急请求,并奖励负载特征良好的应用更多的信誉额度以提高存储系统资源利用效率。测试结果表明,Courier不仅可同时支持应用对延迟和带宽的需求,存储系统的性能也提升了约20%。 针对日益普及的固态盘设备,提出了一种面向固态盘的I/O调度器(FBCQ)以保证应用的性能隔离并提高固态盘设备的访问性能。不同于传统的I/O调度算法,FBCQ调度算法采用二层调度框架,其中上层负责为应用提供性能隔离保证,而底层则采用灰盒子方法以挖掘固态盘的内部并行性。由于固态盘存在读写不平衡的问题,上层调度器通过管理应用的服务时间片,并区分对待应用中的读写请求以保证该应用的性能不受其它应用负载特征变化的影响。在FBCQ调度器底层,根据固态盘的数据页组织方式将固态盘的逻辑地址空间映射到不同的逻辑通道队列中,并为每个逻辑通道队列建立一个子调度器。每个到达的请求根据其物理位置和大小拆分小请求并放置到对应的通道队列中,多个逻辑通道队列并发地处理其内部等待的请求。在每个基于通道队列的调度器中,调度器优先处理读请求以避免读请求被阻塞,且对写请求进行排序和合并以进一步提高写性能。实验表明,FBCQ调度器可以有效地实现应用之间的性能隔离,并提高固态盘存储设备的整体性能。 鉴于由固态盘和机械磁盘组成的混合存储系统在性能、容量、成本等方面的优势及发展趋势,本文提出了一种固态盘缓存动态分配策略(QoS-FCA)。在混合存储系统中,固态盘可以作为磁盘的缓存,用于加速应用访问,然而,由于大量并发应用共享和竞争缓存资源,不合理的固态盘缓存资源分配必然会导致应用的性能无法得到保证。因此,本文详细讨论了固态盘缓存的访问流程并建立了应用的性能模型,通过模型分析发现,应用在固态盘缓存上的访问性能不仅依赖于缓存命中率,同时,与其自身的负载特征相关。因此,QoS-FCA实时监控每个应用的读写缓存大小及缓存命中率,通过曲线拟合的方式建立应用性能与固态盘缓存空间大小的关系模型。根据应用的性能模型及负载特征,采用了非线性规划的方法动态地计算出满足应用性能需求所需要的最小固态盘缓存空间大小,并将空闲固态盘缓存按照缓存边际效应分配给应用以提高存储系统的整体性能。测试结果显示,QoS-FCA可以在保证应用性能需求的基础上,提升固态盘缓存命中率约10%左右。 最后,针对互联网应用和科学计算中存在的海量小文件,提出了一种基于委托的元数据服务机制以优化并行文件系统的小文件访问性能。针对数据密集型应用的需求,设计和实现了具有高性能和高可靠性的分布式并行文件系统Cappella.通过分析分布式文件系统中文件访问流程发现,元数据操作开销占据着小文件访问开销的绝大部分。因此本文提出了基于委托的元数据服务机制,允许客户端在不影响语义一致性的情况下访问和修改客户端缓存中的元数据,并设计和实现了元数据后台刷新机制(.mdflush)。测试结果表明,当文件小于64KB时,Cappella文件系统的性能相对于原始系统提高了35%以上。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前20条
1 毕文兰,李崇智,张晓光;试论加固微机中的固态盘[J];山西电子技术;2001年01期
2 李刚;韩松;;大容量高速固态盘设计[J];电子测量技术;2006年02期
3 李锴;;高性价比闪存固态盘的设计[J];陕西科技大学学报(自然科学版);2009年04期
4 韩治国;易更生;;机车微机显示屏固态盘修复装置的研制[J];内燃机车;2010年09期
5 冯丹;胡洋;;固态盘标准研究及建议[J];信息技术与标准化;2010年04期
6 刘青昆;梁莹;石彦博;;一种基于闪存固态盘的内存交换区空间分配方案[J];微型机与应用;2013年13期
7 蒋泽军;秦楠;李艳艳;;一种提高固态盘可靠性的设计方法[J];西北工业大学学报;2013年04期
8 顾宝发,徐公权,黄德利,王德新;固态盘设计[J];电子计算机外部设备;1994年03期
9 顾宝发,徐公权,黄德利,王德新;固态盘的可靠性设计[J];电子计算机外部设备;1994年06期
10 马骏,宋颖慧,赵万生,伍鹏;工业环境下高性能固态盘的设计与实现[J];机械与电子;1995年04期
11 周琼,周学仁;闪速固态盘的来源、现况及发展[J];电子计算机与外部设备;1997年05期
12 林天静;几种典型固态盘的原理、组成形式及应用[J];电子计算机与外部设备;1999年01期
13 ;企业计算新看点:固态缓存技术[J];微电脑世界;2010年05期
14 王峰;王伟;刘洋;;一种基于固态盘和硬盘的混合存储架构[J];河南师范大学学报(自然科学版);2013年04期
15 郑飞;;微型计算机的固态盘系统[J];微型机与应用;1992年08期
16 薛中渝;固态电子盘设计[J];电子计算机外部设备;1995年02期
17 朱宁太;姚智慧;张淑萍;;基于可信存储的固态盘安全机制研究[J];计算机工程与设计;2010年06期
18 郭清溥;夏军宝;钟鼎坤;;一种基于固态盘的磁盘缓存系统架构及其在子午工程数据中心业务系统中的应用[J];空间科学学报;2013年02期
19 黄汝为;固态盘迅速崛起磁盘机面临挑战[J];电子计算机外部设备;1995年06期
20 张淑萍,周学仁;硬盘机、软盘机及固态盘技术发展状况[J];计算机世界;1995年08期
中国重要会议论文全文数据库 前5条
1 ;固态盘存储系统[A];工程三维模型与虚拟现实表现——第二届工程建设计算机应用创新论坛论文集[C];2009年
2 刘光明;邹丹;张超;;面向Lustre文件系统的固态盘存储加速技术研究[A];第15届全国信息存储技术学术会议论文集[C];2008年
3 赵忠文;刘东;;PXI总线系统中的闪存固态盘管理[A];全国第4届信号和智能信息处理与应用学术会议论文集[C];2010年
4 郭御风;李琼;刘光明;张磊;;基于NAND闪存的固态盘技术研究[A];第15届全国信息存储技术学术会议论文集[C];2008年
5 陈川;肖侬;赖明澈;;Meteoric固态盘设计中的并行性策略研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
中国博士学位论文全文数据库 前5条
1 胡洋;高性能固态盘的多级并行性及算法研究[D];华中科技大学;2012年
2 秦亦;固态盘可用性增强算法研究[D];华中科技大学;2014年
3 黄平;基于固态盘特征的存储优化研究[D];华中科技大学;2013年
4 张泉;面向云数据中心的存储服务质量技术研究[D];华中科技大学;2014年
5 韩林;云存储移动终端的固态缓存系统研究[D];华中科技大学;2014年
中国硕士学位论文全文数据库 前10条
1 邹丹;基于对象存储的固态盘存储加速技术研究[D];国防科学技术大学;2008年
2 梁莹;基于闪存固态盘的内存交换技术研究[D];辽宁师范大学;2013年
3 涂丹辉;固态盘的闪存转换层设计与优化[D];华中科技大学;2013年
4 樊旭光;多通道固态盘系统的设计与实现[D];华中科技大学;2012年
5 陈晓兰;固态盘存储系统的性能优化技术研究[D];厦门大学;2014年
6 杨宗;Flashcache的实现原理与优化研究[D];华中科技大学;2013年
7 刘明超;多存储层次能效散列连接算法[D];浙江工业大学;2013年
8 王栩;基于访问随机度与热度的混合存储研究[D];华中科技大学;2013年
9 王柳峥;USB接口的固态盘原型系统的设计与实现[D];华中科技大学;2011年
10 徐凯;基于NAND闪存的固态盘关键技术研究[D];国防科学技术大学;2009年
中国重要报纸全文数据库 前10条
1 张勇;[N];中国计算机报;2008年
2 本报记者 周源;[N];网络世界;2010年
3 计算机世界实验室 吴挺;[N];计算机世界;2008年
4 本报记者 郭平;[N];计算机世界;2010年
5 本报记者 郭平;[N];计算机世界;2010年
6 ;[N];计算机世界;2007年
7 本报记者 郭涛;[N];中国计算机报;2010年
8 本报记者 周源;[N];网络世界;2010年
9 肖军;[N];计算机世界;2005年
10 王琨月 编译;[N];网络世界;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|