收藏本站

基于MooseFS分布式存储策略的研究与实现

【摘要】:当前互联网时代的快速发展,使信息资源呈现出爆炸性增长趋势,网络和数据已经渗透到人们生活的方方面面。云计算和互联网应用产生了海量数据,对数据存储和数据分析技术提出了更高的需求。传统的存储模式存在的问题也逐渐呈现出来,诸如对数据的可管理性较差、系统可扩展性低、存储容量有限、升级维护成本较高等问题。分布式存储技术可以有效地解决以上问题,其技术关键是应用分布式文件系统,以满足大规模数据对存储容量的需求,并具有冗余存储、高传输率、可在线扩容等技术优点,可以同时满足大规模用户对存储和访问需求。本文针对分布式存储技术进行研究,对MooseFS分布式文件系统的工作原理进行了详细分析,提出了分布式存储策略的改进方案,以优化分布式文件系统的存储和访问性能。并针对视频点播这一应用场景,利用MooseFS分布式存储平台,部署了基于B/S架构的视频点播分布式存储系统,可以分摊服务器端用户的访问压力以及视频文件的存储压力。首先,对GFS、HDFS等典型文件系统进行研究,分析文件系统的架构和工作原理。针对本文的研究场景,选择对MooseFS分布式文件系统进行深入研究。分析了MooseFS系统的工作原理,在此基础上对其原有的存储策略进行了详细分析,解析MooseFS存储策略的源代码,针对原有存储策略存在的问题,创新性地提出了基于服务器性能评价函数的存储策略改进方法。系统在执行存储策略进行存储节点选择时引入更多的服务器性能评价指标,更全面地衡量当前服务器的存储性能,均衡服务器集群之间的存储负载,以优化MooseFS系统的存储性能。然后,针对视频点播这一应用场景,部署了基于B/S架构的视频点播分布式存储系统。系统的设计实现分为两部分,一部分是Web端基于B/S架构的视频点播模块设计,另一部分是服务器端分布式存储系统的设计。视频点播模块采用B/S架构,用户通过浏览器而不是复杂的应用软件实现视频播放功能,可以节约系统资源。服务器端分布式存储系统的部署,主要通过将服务器作为客户端挂载到MooseFS分布式文件系统,实现视频文件的分布式存储。针对云计算快速发展的形势下不断增长的数据存储需求,本文对基于MooseFS的分布式存储相关技术进行研究,通过改进MooseFS的存储策略,使系统存储节点之间的数据分布更加均衡,提高了系统的服务器资源利用率。通过搭建视频点播分布式存储系统,可以满足大量视频文件对存储容量的需求,有效地分摊系统的存储压力和并发访问压力。本文对基于MooseFS分布式存储策略的研究和系统实现,对于分布式存储技术的研究和服务器集群的性能优化方面有重要意义。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前20条
1 王征;刘心松;李美安;;企业信息分布式存储的热点处理策略[J];计算机集成制造系统;2006年09期
2 李磊;沈海斌;黄凯;严晓浪;Han Sangil;Ahmed A Jerraya;;分布式存储管理在多核设计中的高层建模[J];电子与信息学报;2008年11期
3 刘翔;汪海玲;;分布式存储中的一种数据放置策略[J];计算机与数字工程;2009年05期
4 陈卫卫;吴海佳;胥光辉;;分布式存储中文件分割的最优化模型[J];解放军理工大学学报(自然科学版);2010年04期
5 崔忠强;左德承;张展;;在云间可重构的分布式存储[J];系统工程理论与实践;2011年S2期
6 郝杰;逯彦博;刘鑫吉;夏树涛;;分布式存储中的再生码综述[J];重庆邮电大学学报(自然科学版);2013年01期
7 唐京伟;;基于云计算的分布式存储技术[J];中国传媒科技;2013年15期
8 郭栋;王伟;曾国荪;;基于一致性树分布的数据分布式存储方法[J];计算机应用;2013年12期
9 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[J];电信科学;2013年12期
10 谢然;;敢问存储之路在何方?见分布式存储摇曳在数据枝头[J];互联网周刊;2014年02期
11 陈惟康;杜松;;分布式存储中数据放置策略的研究[J];计算机应用与软件;2009年01期
12 蔡鸾佳;;拜占庭容错纠删码分布式存储协议[J];计算机系统应用;2012年02期
13 杨德文;;医学影像数据多级分布式存储的研究[J];中国医疗设备;2008年10期
14 胡文波;徐造林;;分布式存储方案的设计与研究[J];计算机技术与发展;2010年04期
15 庞慧;陈艳君;;分布式存储中数据分布策略的分析与研究[J];河北建筑工程学院学报;2012年03期
16 朱晓辉;王杰华;石振国;陈苏蓉;;海量图片的分布式存储及负载均衡研究[J];计算机工程;2010年23期
17 黄倩;王柳苏;谢显中;;基于干扰对齐的高效云存储方法研究综述[J];计算机应用研究;2013年04期
18 卫东升;李钧;王新;;分布式存储中精确修复最小带宽再生码的性能研究[J];计算机研究与发展;2014年08期
19 杨煜彬;;分布式存储在电视台制播网的应用探讨[J];电子世界;2012年08期
20 蒋轶林;郭淑琴;;分布式存储在数字集群移动通信系统中的应用[J];杭州电子科技大学学报;2013年05期
中国重要会议论文全文数据库 前7条
1 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[A];2013电力行业信息化年会论文集[C];2013年
2 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[A];2013电力行业信息化年会论文集[C];2013年
3 郑文武;李先绪;黄植勤;邱红飞;;云存储关键技术[A];2012全国无线及移动通信学术大会论文集(下)[C];2012年
4 蒋轶林;郭淑琴;;分布式存储在数字集群移动通信系统中的应用[A];浙江省电子学会2013学术年会论文集[C];2013年
5 姜继忱;陈钢;;P2P之路——缔造“分布式对等”的Internet3.0[A];全面建设小康社会:中国科技工作者的历史责任——中国科协2003年学术年会论文集(下)[C];2003年
6 付伟;肖侬;卢锡城;;QoS感知的副本放置问题研究综述[A];第15届全国信息存储技术学术会议论文集[C];2008年
7 张彦;刘欣然;徐慧彬;;一种基于虚拟计算环境的分布式存储体系结构[A];2009全国计算机网络与通信学术会议论文集[C];2009年
中国博士学位论文全文数据库 前8条
1 胡燏翀;基于网络编码的分布式存储容错机制研究[D];中国科学技术大学;2010年
2 魏青松;大规模分布式存储技术研究[D];电子科技大学;2004年
3 王涛;基于对等结构的分布式存储技术研究[D];电子科技大学;2006年
4 赵浩天;基于网络编码的分布式存储容错及扩容问题研究[D];中国科学技术大学;2013年
5 谭鹏许;云计算环境下安全分布式存储架构与容错技术研究[D];解放军信息工程大学;2013年
6 侯孟书;基于P2P的分布式存储及其相关技术研究[D];电子科技大学;2005年
7 周旭;面向Internet的大规模分布式存储技术研究[D];电子科技大学;2004年
8 姜春茂;基于移动P2P的分布式存储和传输机制研究[D];哈尔滨工程大学;2013年
中国硕士学位论文全文数据库 前10条
1 邵黎明;分布式存储多副本文件完整性验证方案[D];河北大学;2015年
2 郭星;基于FRC码的分布式存储编码优化算法研究[D];天津理工大学;2015年
3 陈泰龙;基于Hadoop的分布式存储与数据分发策略研究[D];西南交通大学;2015年
4 刘亚;基于MooseFS分布式存储策略的研究与实现[D];山东大学;2015年
5 雷蕾;分布式存储技术及其在网络教学平台中的应用研究[D];浙江工业大学;2009年
6 罗岚楠;基于三层体系结构的分布式存储访问系统技术研究[D];电子科技大学;2012年
7 吴智兴;分布式存储中的资源索引技术研究[D];浙江大学;2013年
8 王君君;网络文件的分布式存储设计与实现[D];山东大学;2014年
9 陈寅;基于网络编码的分布式存储技术研究[D];西安电子科技大学;2011年
10 张彦雯;烟田多层次视域数据分布式存储与检索[D];西北农林科技大学;2013年
中国重要报纸全文数据库 前8条
1 京东架构委员会主任 云平台首席架构师 系统技术部负责人 刘海锋;[N];中国信息化周报;2014年
2 《网络世界》记者 于翔;[N];网络世界;2014年
3 《网络世界》记者 于翔;[N];网络世界;2013年
4 记者 余荣华;[N];人民日报;2014年
5 本报记者 张佳星;[N];科技日报;2014年
6 本报记者 甘露;[N];计算机世界;2013年
7 本报记者 郭涛;[N];中国计算机报;2013年
8 临江;[N];人民邮电;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|