数据云存储方案精编5篇
【导言】此例“数据云存储方案精编5篇”的范文资料由阿拉题库网友为您分享整理,以供您学习参考之用,希望这篇资料对您有所帮助,喜欢就复制下载支持吧!
数据云存储方案1
关键词HBase;云图书馆;应用研究
1 高校数字图书馆建设现状
随着移动互联网和智能设备的蓬勃发展,随时随地进行无纸化学习变得越来越重要,各大高校开始着手于数字图书馆建设以顺应这一趋势[1]。由于师生对数字图书需求的日益多样化,以及数字图书的数据量和数据种类呈指数增长,图书存储对服务器空间的需求也急剧膨胀,非结构化数据的存储需求突出[2]。同时师生对数字图书服务的及时性要求越来越高,使得高效存储和管理丰富的数字图书对资源和资金的消耗成为高校图书馆沉重的负担[4]。
由于历史原因,很多高校的数字图书馆系统缺乏顶层设计和统一规划,主要采用Sybase、DB2和Oracle等关系数据库存储数字图书。随着数字图书数量快速增加,全部采用关系数据库存储其成本较高,易用性和时效性也得不到保障。而且相当数量的数字图书体积较大,并不适合存进关系数据库,如果采用文件式存储,数据的安全性、灵活性和扩展性都会受到极大的限制,也又不利于数字图书的备份、检索和统计[3]。而且,有些数字图书业务独占一个数据库,数据冗余度高、共享性差。因此,传统的数字图书存储方案日益满足不了高校对数字图书服务的需求,因此进行海量数字图书存储方案的研究是十分有必要的[5]。
2 云图书馆技术研究
基于Hadoop或Spark的云计算方案对海量数据进行云存储是当前计算机领域的研究热点。云计算是一种按需交付和使用信息服务的模式,它是服务器的横向扩展。而云存储则是云计算的基础,云存储通过计算机网格和分布式协同处理系统将网络中大量不同类型的存储设备集接,作为一个服务体系对外提供接口供各种客户端访问,这种存储对用户是透明的。对于高校的数字图书馆而言,不仅要能够存储海量图书数据,还要能对数据进行高速I/O, 由于Hadoop在云计算和云存储领域具有很高的人气,很多商业公司采用Hadoop软件构建自己的私有云,因此本文选择Hadoop开源框架解决种需求[6]。
首先,Hadoop以一种可伸缩且高效的方式处理图书文档。由于HDFS具有心跳算法、数据块冗余、数据流式访问等机制,自动维护着数字图书的多个副本,因此具有较高的容错性,可以保障数字图书的安全性和完整性,非常适合图书馆信息化建设对文档的分布式存储需求。其次,Map/Reduce框架将对数字图书的CRUD访问分解为并行的Map任务和Reduce任务。两类任务都可以运行在多台服务器上,从而可以轻易处理PB级图书数据。
HBase是Apache基金会Hadoop项目的子项目,是一个适合存储非结构化数据的云数据库,与一般的关系数据库不同,HBase以表的形式存储数据,但是其基于列而不是基于行的模式。尽管每个HBase表由行和列组成,但每列只属于一个特定的用户。每个元素在底层HDFS系统中保存了多个版本,由时间戳来标识。行并作为检索记录的主键,也是数据在表中的唯一标识。HBase在HDFS之上提供了与Google公司BigTable类似的能力,和BigTable提供的分布式数据存储一样,HBase也实现了基于云存储的具有高性能、高可靠、列存储、可伸缩的分布式数据库系统,可用于存储用户的非结构化数据[3]。
3 本方案技术路线
本文采用研究学习与应用开发相结合的方式,首先深入研究了Hadoop的系统架构和HDFS的运行原理,接着对Hadoop数据文件的读写机制和Hadoop性能调优进行了研究和分析,基本研究思想是:首先使用Hadoop架构中的HDFS实现数字图书云存储系统,然后在HDFS基础上使用HBase技术构建一个分布式的、面向列的云数据库,最后使用开源的Phoenix引擎将针对图书数据的SQL访问转化为针对HBase的NoSQL调用,从而避免大规模修改原有的数字图书馆系统。本方案的实现步骤如下:
(1)在图书馆服务器集群上构建HDFS云存储系统。传统关系型数据库在数字图书馆建设中一直扮演着图书存储的重要角色。由于数字图书数据一旦写入很少再修改,也较少有事务要求,Hadoop的O计建立在更多地响应“一次写入、多次读取”的基础上,数据集一旦生成就较少修改,然后自动复制到不同的存储节点中,不仅提高了可靠性,也提高了系统带宽,故使用Hadoop来处理数字图书尤为合适[3]。
(2)使用HBase技术在HDFS云存储系统之上构建分布式云数据库。HDFS存储系统不适合处理低延迟的用户请求,也难以高效管理海量小文件。HBase可以弥补这两条不足。HBase通过使用缓存和多Master设计来降低来自Client的数据访问压力,以减少延时;同时利用MapFile、SequenceFile等方式对小文件进行压缩打包,让HDFS存储系统能高效地处理好小体积的数字图书。
(3)使用开源的Phoenix引擎将针对云数据库的SQL访问转化为NoSQL访问。Phoenix引擎出自Salesforce公司,是一个实现SQL到NoSQL转换的项目,其可以高效地通过SQL语句操纵HBase或者MangoDB数据库,用户通过JDBC接口与其进行交互,就像访问传统的关系数据库一样。
(4)将原有数字图书馆系统的关系数据库访问地址映射为新的云数据库访问地址。很多高校的数字图书馆建设在软硬件上已经投入了大量的资金,在不影响原系统运行的前提下可以平滑实现关系数据库到云数据库的过渡。
4 总结
本方案如果能够顺利实施,将有利于提高图书馆对信息资产的管理水平,从而为广大师生提供更加便利的在线学习服务。通过对HBase和HDFS等技术的研究,结合图书馆对海量数字图书存储的实际需求,设计的方案具有以下优点:(1)存储容量动态可扩展。系统中大量服务器协同工作,可以在不影响系统运行的前提下动态扩展,满足数字图书存储规模日益增长的需要。(2)信息资源虚拟化。基于HBase的云数据库对于使用者是透明的,用户无需关心数据如何存储,原有MIS系统也只需要做少量修改。(3)高可靠高。Hadoop的多副本和快速恢复等机制可以充分保障数据的可靠性。而且HBase和Phoenix引擎可以部署在普通服务器上,从而为图书馆部门节省成本的同时提高设备使用效率。因此本方案对数字化校园建设中的数据存储和服务器使用规划都具有一定的参考价值。
参考文献
[1]朱锦益。大数据时代数字化图书馆建设[J].图书档案,2016,2.
[2]林志生。云计算技术在高校图书馆管理中的应用[J].产业与经济论坛,2016,15(6).
[3]王庆波,金耄何乐等。虚拟化与云计算[M].电子工业出版社,2012:110-180.
[4]刘安定。云环境下图书馆信息资源建设的机遇[J].赤峰学院学报,2016,3.
熟读唐诗三百首,不会做诗也会吟。以上5篇数据云存储方案就是山草香小编为您分享的网络云存储的范文模板,感谢您的查阅。
数据云存储方案2
关键词:云存储;资料归档;网络存储
1 云存储技术简介
云存储技术主要是依赖于高速分布式互联网进行数据的存储,在网络中搭设多种不同类型、不同容量以及不同物理位置的存储设备,借助云计算进行管理,让这些分散于网络中的数据能够并行工作,从而形成了一个非集中式的大型数据存储和访问系统。云存储能够合理运用网络空间,存储资源更加丰富,按照需要也可以获得很好的扩展性,通过网络管理软件等可以快速对资源进行管理和取用,和集中存储的管理方式基本相同。在网络中存储的信息相对比较分散,所以受到攻击时也不容易造成整体的崩溃,只要能够进行良好的保护,网络中的信息就能够得到有效的保护。
2 资料档案信息网络存储及其实际应用意义
资料档案信息网络存储
互联网技术日益成熟,越来越多的人在使用互联网,使得网络中信息的种类和数量都在不断增加,同时人们对于信息的取用要求也越来越频繁,如何采取一种高效的存储方式,让网络中的信息更好的进行使用,是目前信息管理工作者需要面对的问题。档案信息存储的方式非常多,基于本地计算机系统的存储方式,方便集中管理和使用,但是面对网络不断扩展,这种方式使得网络中处于远端的设备访问不便,所以利用互联网分布计算的优势,在网络中分布存储,可以通过特定的网络载体进行存储。相比较于传统存储模式,云存储通过网络将部分的档案信息组合成一个整体,使得多个信息资源单位可以通过网络进行信息的共享和传输,解除了集中信息存储的限制。而且随着档案信息种类增多,数量增加,网络存储能够提供更大的空间,同时提供高速的访问服务,节约本地信息资源占用的空间。云存储是目前最为经济,安全性较高的信息存储解决方案,长期存储得到了很好的保证。所以说,资料档案信息的存储,未来会十分依赖网络存储。
云存储对资料归档的重要意义
信息量的增加,对管理提出了更高的要求,同时大量冗余的信息会占用存储空间增加负担,根据客观需要进行存储更为合理。按照档案信息的管理规定,选择合适的存储年限和存储方式,对于需要长久存储的档案信息,应当选择更加安全稳定的存储方式,而云存储技术的分布式优势能够很好的解决这一问题。分布式存储解决了长期存储稳定性不足的问题,在网络中的备份能够及时恢复保证数据安全,同时分布式存储通过网络机密和授权访问,确保资料能够完整保存。实际档案存储过程中,网络存储体现出了非常多的优势,成本低,运维方便,对于网络的安全开放,也让档案信息可用性更高,便于分布式管理档案信息,云计算解除了档案管理的时间和空间限制,所以说云存储在资料归档中具有实际应用意义。
3 云存储在资料归档中的应用方式
利用资源网站进行云存储
档案信息资源原始数量庞大,档案管理部门对于这样庞大的数据信息,可以很好的利用资源网站的服务器进行存储,通过网络存储代替本地资源存储,大大降低了本地资源占用的空间。使用网络资源网站存储原始档案资源,降低了本地计算机存储系统的压力,同时在资源网站合理开放接口,可以在服务器端进行其他档案信息的收录和管理。资源网站对于资源的存储可以说是全方位的,不论类型和更新频率,服务器都能够承载,具有很强的可用性,海量的档案信息都可以得到安全的存储。
利用网络硬盘进行云存储
网络硬盘也就是建设在网络中的大容量存储介质,很多网络公司都推出了在线的资源存储服务,提供了一个资源存储、管理和分享的网络空间,就相当于一个虚拟的移动硬盘,只是访问方式是通过网络进行。网络硬盘相比资源网站使用更加方面,借助网络公司的公用服务器硬盘,实现网络存储。网络硬盘可以随着用户需求扩展空间,成本也比较低廉,借助网络公司的服务器资源,更加安全和稳定。
利用同步盘进行同步存储
同步盘与网络硬盘可以结合使用,同步盘将网络硬盘与本地计算机硬盘进行映射和同步,通过网络将本地计算机存储的信息进行网络备份,这样在其他计算机中也可以对存储资源进行检索和管理。同步盘提供自动备份更新数据的服务,将本地计算机增加的信息及时的上传到服务器中,这样就可以通过网络将同步盘作为计算机的一个虚拟硬盘使用,更加直接的对数据进行管理,同步服务让信息存储更加稳定,降低了本地计算机的压力,确保计算机信息能够得到稳定保存。
4 结语
云存储技术在大数据时代应用广泛,随着时代的发展,档案信息的存储和使用也有了更高的要求,认真研究云存储技术,创新档案信息的存储方式,提高存储稳定性和安全性。档案信息资源不论是种类还是数量都在不断增加,云存储提供了良好的解决方案,这就需要资源管理者采用合理的存储方式,提高资源存储和管理的工作效率。
参考文献:
[1]高宏卿,汪浩。基于云存储的教学资源整合研究与实现[J].现代教育技术,2010(03).
[2]李君鹏,周宇。基于云存储的在线备份服务创新[J].华南金融电脑,2010(03).
[3]郭凌翔。浅谈云存储及其安全性[J].福建电脑,2010(05).
[4]周可,王桦,李春花。云存储技术及其应用[J].中兴通讯技术,2010(04).
数据云存储方案3
三年冲前五
曙光公司为何会如此高调地宣布全面进军存储市场呢?“存储市场的巨大空间和曙光发展转型的内在要求促使我们在存储方面做更大的投入。”曙光公司首席运营官王正福解释说。
从曙光公司自身业务的发展来看,其存储业务正面临一个爆发点。IDC的2011年中国大陆地区存储业务统计分析报告显示,曙光公司以%的市场占有率位列所有厂商中的第八名、国产存储厂商中的第三名。曙光公司存储业务平均年增长率达到50%左右。这让曙光公司在存储方面的发展更有底气。
曙光公司存储产品总监惠润海宣布了曙光存储未来的目标:“三年后,曙光存储要占据10%的市场份额,进入存储行业第一梯队,排名前五,同时还要成为海量存储专家和云存储市场上的领先厂商。”
冲击存储市场前五名,对曙光公司来说是机遇与挑战并存。从有利的方面看,中国的云计算和数据中心市场容量巨大,曙光公司依托其不断丰富的存储产品线和日益完善的渠道销售体系,达到预期的增长量是完全有可能的;相对于国外市场来说,中国存储市场的发展滞后2~3年,曙光公司正好可以打个时间差,利用自身的研发优势,逐步缩小与国外厂商之间的技术差距;数据存储关系到国家战略以及行业信息安全,因此在很多的应用中必须使用中国厂商的产品和解决方案,这给曙光存储业务脱颖而出提供了机会。从不利的方面看,由于数据量增长迅猛,而且数据类型日益多样化,这给数据的存储和管理增加了难度,因此曙光公司必须加快存储技术的创新速度,不断提升产品的性能;综合来看,国外厂商在存储技术的先进性,特别是品牌的认知度方面优于国内厂商,曙光公司必须在这方面迎头赶上。
ParaStor仍是核心
在存储战略会的现场,曙光公司展示了其全系列的存储产品,其中不仅包括DAS、NAS、IP SAN和FC SAN等基于传统架构的存储产品,还包括了高密度存储服务器、并行存储系统、备份存储系统、海量结构化数据存储系统以及云存储解决方案等。目前,曙光公司共拥有三条存储产品线,包括通用存储、海量存储产品以及云存储产品,其中以ParaStor并行存储系统为代表的海量存储产品仍是曙光公司存储产品的重中之重。
ParaStor是一款用于海量非结构化数据处理的高端存储系统。它采用横向扩展架构,可以实现性能与容量的同步线性扩展,具有很高的可靠性、可扩展性、灵活性和经济性,并具有出色的性能和统一管理监控平台。
ParaStor并行存储系统与曙光的高性能服务器称得上是最佳搭档。惠润海介绍说:“如今ParaStor已经成了曙光高性能服务器的标配。我们每销售一套高性能服务器,其中就会配备一套ParaStor并行存储系统。”曙光ParaStor并行存储系统已经成功应用在多个行业,比如部署在深圳超算中心的曙光“星云”系统就采用了ParaStor200,其最大存储容量达到16PB。惠润海表示,ParaStor200不仅可以为华南地区的高性能计算用户提供存储支持,而且在深圳市的智能交通应用中也扮演着十分重要的角色。
在会现场,曙光公司宣布,其第1000台ParaStor正式下线,这表明曙光公司已经在海量存储市场上站稳了脚跟。曙光公司要将ParaStor打造成高性能计算、互联网、广电以及云存储领域的主要支撑存储平台。“在过去5年中,曙光公司在高性能计算市场上一直保持领先地位,而高性能计算对应的正好是海量存储,这也是ParaStor能够实现快速发展的一个重要原因。”惠润海表示,“从技术架构上看,服务器与存储的融合是一种趋势。SBB(Storage Bridge Bay,存储桥接舱)存储标准的发展推动了存储平台向x86架构转换。软件加存储服务器的组合将是未来云存储和大数据存储应用的常态,这同时也是曙光存储未来的产品研发方向。”
ParaStor是曙光公司自主研发的重要成果。据惠润海介绍,曙光公司目前研发经费的1/3都用于存储研发。“未来,软件、海量存储以及云存储将是我们存储研发的主攻方向。”惠润海表示。
云盘面向企业用户
除ParaStor并行存储系统以外,曙光存储业务另一个快速增长点就是云存储。从2009年开始,曙光公司就开始了云存储的研发。曙光公司的云存储解决方面涵盖云存储管理、云存储应用、海量数据管理等内容。惠润海表示,曙光公司的云存储发展战略可以从横、纵两个维度来描述:从横向来看,曙光云存储方案将横跨云存储、云计算、云安全和云运营, 并将努力实现上述内容的协调一致;从纵向来看,曙光将研发更大容量、更高性能的云存储硬件平台,并将持续更新虚拟化资源调度与管理软件。
在云存储方面,曙光公司将把战略发展重点放在私有云上。曙光公司此次的云存储新品——曙光云盘,就是一个面向企业级用户的云存储解决方案。曙光云盘面向的是企业用户,而非个人用户。它有两种应用方式:第一,曙光公司将云盘作为一种私有云的解决方案提供给企业用户,让用户基于曙光云盘构建自己的私有云服务体系;第二,曙光公司通过其下属的云计算运营公司,将曙光云盘作为一种云存储服务提供给企业用户。
曙光云盘是一个基于云计算理念的文件数据集中管理平台。它采用分布式架构设计,以文件同步技术为基础,融合了云存储、智能同步、细分存储权限、移动终端等技术,并以曙光服务器和云存储基础架构产品为支撑,可为企业用户提供文件数据存储、共享、管理、同步、备份以及中转服务。惠润海概括说:“曙光云盘具有四大特点,即整体交付、无缝结合、功能丰富和灵活控制。曙光云盘实现了软硬件的集成,可以实现统一管理。曙光云盘还具有许多实用的功能,比如秒传机制、云相机功能,并可实现微博共享。”除了曙光云盘,曙光云存储产品线还包括DCStor100存储虚拟化控制器、DCStor100私有云存储系统以及DBStor备份存储系统。这些产品构成了曙光云盘坚实的后端存储平台。
曙光解决方案中心副总经理王勇介绍说,曙光存储产品已经广泛应用于教育、政府、广电、互联网等多个行业。为了深化行业存储应用,曙光公司还重点推出了包括备份容灾解决方案、电子政务解决方案、非线编系统存储解决方案、数字化医疗解决方案、视频监控解决方案、高性能计算并行存储解决方案、区域卫生信息平台解决方案在内的七个存储解决方案。
记者手记
中国存储厂商的新机遇
有人说,云时代的到来给了国内外厂商一个站在同一起跑线上的机会。但是国外厂商的普遍观点是,他们长期以来在技术、产品和解决方案上的优势在云时代会得到进一步增强。那么在云存储市场上,中国厂商与国外厂商之间的距离会进一步拉大吗?曙光认为,我们必须正视中外存储市场及厂商之间的差距,但是在云存储市场上,这种差距正在逐步缩小。从技术方面看,曙光一直坚持自主研发,并且在并行存储、云存储等技术方面取得了突破,并受到广大中国用户的青睐;从市场和服务层面看,由于受到一些客观条件的限制,以及出于信息安全方面的考虑,国外厂商如果想在中国提供云存储服务可能会受到一定约束,而曙光在云服务方面已经全面出击,仅在2012年就准备在国内建立8~10个云计算数据中心,云服务让曙光拥有了更多用武之地。
数据云存储方案4
关键词:云计算 MCSERS 云存储 数据安全 冗余分割
中图分类号: 文献标识码:A 文章编号:1007-9416(2013)12-0196-03
云计算是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备[1-3]。在云计算模式中,用户的大量数据处理计算业务都存储在在云端服务器上,以利于移动办公、保持数据一致性,及更好地享用云计算平台的其他服务。一个通用的、模块化的云存储方案MCSERS(Modular Cloud Storage with Encryption and Redundancy Splitting)[4]将多个运营商提供的云存储组件连接成一个云存储域服务于用户,即使用公有云的技术构建用户自己的私有存储云,以保证用户的云端数据的相对独立性。
用户数据需要拥有完整性,可用性以及机密性来保障用户的隐私。在MCSERS中,数据的安全性要通过加密和数据冗余分割技术来保证。数据冗余分割技术允许将一个数据整体分割成不同分片,存储在不同位置,以此提高数据的安全性。然而,数据冗余分割算法的选择及其参数的调整,将对方案中数据处理的速度,数据分片存储效率,以及数据分片的安全性产生影响。本文利用仿真实验对三种冗余分割算法—EC抹除码[5]、Shamir基于拉格朗日的秘密共享算法[6]、基于位异或的(k,L,n)秘密共享算法[7]—的性能分别进行测试,测试三种算法数据分片分割和重组过程的速度,以及最后生成的分片的存储空间的差别,从中选择最优方案。最后通过比较加密前后数据冗余分割结果分析如何更好提高数据安全性。
数据安全量化通过明文敏感性来进行。明文敏感性指在其它参数不变的情况下,使用相同算法对同一个明文数据进行前后两次数据冗余分割,而前后两次的数据明文只变化一个比特,其生成分片所产生的变化。分片变化比特的总数占分片比特总数的百分比,即为明文敏感性=(分片变化比特总和/分片比特总和)。敏感度越高,则安全性越好。
1 三种冗余分割算法简介
EC抹除码介绍
应用Reed-Solomon提出的抹除码(EC,Erasure Coding)技术(下文简称RS-EC)[5]能够令数据块分散存储在全球不同的存储位置n,并且恢复时只需要其中的一个大小为k的子集,即能够实现(k,n)门限数据冗余和恢复。
假设RS-EC的参数为(k,n),其中k指门限阈值,是恢复原数据的最小集合的大小;n指最后生成数据的份数。RS-EC由用户数据直接切割成k份分片,并产生n-k份的校验数据。其中包括分割与校验位数据在内的任意k份数据组合,都能恢复出原用户数据。
Shamir秘密共享算法
Shamir的秘密共享算法方案基于拉格朗日插值原理,并在高斯域G(P)中进行运算[6]。其目的是在一个用户群体中共享密钥;方案将密钥分割成n份密钥分片并发送给n个不同用户,只需要其中k个用户同时贡献自己的密钥分片就能恢复原密钥;少于k个用户无法恢复原密钥。其中k为算法的门限阈值,n大于等于k。即如果当n个参与者中任意小于k个参与者的集合都无法恢复出原数据或者泄露原密钥的任何信息,则称这样的秘密共享算法是完美的(perfect);而如果秘密共享算法在满足完美的条件下,还能满足每个密钥分片的长度都与原密钥的长度一致,那么则称这样的秘密共享算法是理想的(ideal)[8,9]。Shamir算法就是理想的秘密共享算法,
一种完美的秘密共享算法能保证密钥分片具有高强度的安全性,当一个攻击者窃取了k-1块的密钥分片,他想要恢复出原密钥的难度,其实和没有这k-1块分片时的难度是一致的,都需要进行穷举猜测原来的密钥。而至于理想的秘密共享算法,则能在保证安全性的前提下,提高算法存储效率。完美的理想秘密共享算法所能产生的最小秘密分片的长度为原数据的长度;否则必然会在一定程度上对信息产生泄露[8]。
基于位异或的(k,L,n)秘密共享算法
Shamir的秘密共享算法方案受限于拉格朗日插值运算的复杂,导致运算速度效率低下。针对此弊端,Kurihara等提出了基于位异或运算的(k,n)门限秘密共享算法,在运算速度上有大幅度提升[10]。而且方案也属于理想的秘密共享算法,其秘密安全性得到保障。但(k,n)处理一份秘密时,需要生成k-1份随机数用于生成运算;最终的n份秘密分片长度总和为原秘密的n倍,扩张严重,导致了存储秘密分片时存储负担过重。
为了提高秘密分片的存储效率,Kurihara等引入Ramp机制将原来的(k,n)门限算法扩展成为(k,L,n)的门限秘密共享算法[7],提高每个秘密份额的单位信息量。(k,L,n)门限算法的一次操作中将一份秘密等分切割成L块,并相应生成(k-L)份随机块作为初始运算数据。最后生成的每份秘密分片长度都为数据块的长度,即原秘密的(1/L)。然而(k,L,n)门限算法的运算性能与安全性之间存在着此消彼长的关系,也即Ramp机制牺牲了一定的安全性而换取运算速度和存储效率的提升。
2 数据冗余分割算法的性能比较
为了比较三种冗余分割算法性能,设置了以下实验进行测试。实验设置门限参数(k,n)等于(4,7),单次操作的数据长度为32比特。其中位异或的(k,L,n)秘密共享算法中参数L由1取到k=4,进行多次实验;L的变化影响着运行速度和存储效率。实验的结果如表1所示,其中存储分片扩张指n个分片长度的总和与原数据的长度的比率(分片长度*n/原数据长度)。
本实验进行的环境为Intel 酷睿双核CPU,2G内存,32为XP操作系统,VisualStudio2005开发工具。本实验的数据对象为10M大小文本文件,测试5次求平均值。下文如若没有特殊提示,将保持同样的实验环境。
由表1可见,RS-EC抹除码的速度最快,存储效率也最高,但单独的RS-EC抹除码编码由于没有随机数参与运算,因此敏感性很低,不利于数据的信息隐藏。基于位异或的扩展(k,L,n)算法能够随着L的调节而产生不同的安全等级;当L=1时,理论上扩展的秘密共享算法是理想的,而实验证明了其敏感性也是接近50%,是最为理想的情况,实验与理论相符;当L逐渐增大,参与运算的随机数下降,则明文敏感性逐渐下降。Shamir的秘密共享算法由于存储效率较低,运算速度较慢,对二进制的支持不良好,无法满足快速数据冗余分割的需求,被位异或运算取代是合乎常理的事。
3 位异或秘密共享算法的安全性能分析
基于位异或的秘密共享算法引入Ramp机制后,以牺牲部分安全性为代价,提高运算速度和存储效率。这种安全性表现为不足k(门限阈值)的分片集合也会出现部分信息的泄露。为了弥补基于位异或的秘密共享算法敏感性的不足,本论文提出对数据进行AES加密之后,再实行数据冗余分割。在实验中,数据分片的明文敏感性的强弱体现了信息隐藏混淆的能力,反映算法的安全性。
以下研究单独的基于位异或的秘密共享算法,以及结合了AES加密的秘密共享算法以后的明文敏感性、运算速度、存储效率的差别。在参数L由k变化到1时,单独的位异或秘密共享算法敏感性上升,但这是以牺牲存储效率和速度为代价的;而结合了AES加密的结合算法也同样能弥补敏感性。本实验目的是对比两种提高明文敏感性的方法效率的高低。具体的实验数据下述表格2和3所示:
由上述的两个表格(表2、表3)可以看出,随着L的变大,两种方案的敏感性都逐渐下降,而存储效率和处理速度都在上升。从实验的角度验证了位异或算法在效率和安全性之间此消彼长的关系。同时,通过对比试验可以发现,添加了AES的处理的结合方案在提高明文敏感性中所付出的存储空间和运算速度的代价,要比单独的秘密共享方案调节Ramp参数L下需要付出的代价要小。在试验中可以看出,以L=4为参数的的单独的位异或秘密共享算法的明文敏感性为%。为了提高明文敏感性到接近50%的水平,可以使用调节Ramp参数或者添加AES预处理的两种方法:使用参数调节方法,将L调节为2,使明文敏感性达到%的水平,相对于L=4时付出了多(=)倍的存储空间和(()/= )倍分割时间、(()/=)倍恢复时间;而使用添加AES预处理的方法,L=4时,明文敏感性已经达到%,而存储空间不变,但分割时间增长了(()/=)倍,恢复时间增长了(()/=)倍。可见,添加AES预处理的方案能更有效率地提高算法的明文敏感性。结合方案即使是在L=k时,没有随机数参与数据冗余分割,也能维持数据分片的高明文敏感性。
4 结语
本文对MCSERS云存储方案中使用到的数据冗余分割算法进行定量研究,分析其不同方案的选择效率和安全性的区别、针对位异或秘密共享算法参数调节所带来的安全性和处理性能之间关系的研究,以及研究分析了AES加密所带来的对数据安全性的提升效果要比调节参数L所带来的提升要更加明显。
参考文献
[1]Armbrust M,Fox A,Griffith R,et al.,A view of cloud computing [J].Communications of the ACM,2010,53(4):50-58.
[2]Lenk A,Klems M, Nimis J,et al.,What's inside the Cloud? An architectural map of the Cloud landscape[C].// ICSE Workshop on Software Engineering Challenges of Cloud DC,USA:IEEE Computer Society, 2009,23-31.
[3]Ma Wenqing,Zhang Jing,The survey and research on application of cloud computing[C].// 7th International Conference on Computer Science & Education (ICCSE).Melbourne,Australia:IEEE Computer Society,2012,203-206.
[4]郑洪英,王博,陈剑勇。 实现加密和分割的数据云存储方案 [J].深圳信息职业技术学院学报,已投稿。
[5]Stephen BW,Error control systems for digital communication and storage[M]. Prentice Hall,1995.
[6]Shamir A,How to share a secret[J].Communications of ACM,1979,22: 612-613.
[7]Kurihara J,Kiyomoto S,et al.,A Fast (k,L,n)-Threshold Ramp Secret Sharing Scheme[J].IEICE Transactions on Fundamentals of Electronics Communications and Computer Sciences,2009,E92-A(8):1808-1821.
[8]Bai LA,Strong Ramp Secret Sharing Scheme Using Matrix Projection [C]// International Symposium on a World of Wireless, Mobile and Multimedia Networks, 2006(WoWMoM 2006).New York city,USA:IEEE Computer Society,2006,652-656.
数据云存储方案5
优势多多 挖掘价值
在传统存储中,大多数企业通过不断地增加磁盘、阵列和服务器,以便能够满足业务的存储需求。但是,随着时间的推移,不仅增加了存储系统所占成本,增加管理难度,而且这些企业的数据中心都会面临存储分散的问题,数据存储在数据中心的磁盘和系统,遍布企业内部,给数据的集成和分析带来诸多障碍。
同时,数据的无节制增加和应用的兴起也迫使人们重新思考存储的实现。云存储作为其中的一个解决方法,具有自身的优势。
就目前来看,企业数据存储系统的部署成本比较高,而且这些成本会随着数据量的增加而不断地增加。采用云存储后,可以将大部分的数据转移到云存储上,这样可以大大降低存储系统的部署成本。云存储是供应商通过互联网提供的存储服务,用户按照使用来交付费用,虽然从长期来看其成本可能与购买的成本相差不大,但是短期内可以缓解企业的成本压力。
云存储的另一个好处是管理优势。云存储系统不仅要提供类似于POSIX的传统文件访问,还能够支持海量数据管理并提供公共服务支撑功能,以方便云存储系统后台数据的维护。这一点与传统存储很相像,但根本区别在于存储介质发生了改变。传统存储的介质是各种物理硬盘,但是云存储的存储介质是虚拟的网络云。
云存储还可以实现量身定制。该优势主要是针对于私有云模式。云服务提供商专门为单一的企业客户提供一个量身定制的云存储服务方案,或者可以是企业自己的IT机构来部署一套私有云服务架构。私有云不但能为企业用户提供最优质的贴身服务,而且还能在一定程度上降低安全风险。
同时,云存储让分享变得更加容易,云存储可以实现信息到云端的快速备份,然后通过各种终端访问这些信息。比如,对一些视频信息的访问,这样用户就可以利用云存储去分享更多的内容。还可以很方便地实现团队协作。
克服障碍 助力成长
就目前来说,云存储具有很大的潜力,虽然很大一部分企业正在考查云存储的可行性,或者准备上马云存储解决方案。但是云存储的发展还会受到诸多因素的影响。
首先,带宽问题是阻碍云存储发展的最大障碍。单从显性成本来看,云存储服务的成本远远低于企业自建的存储。但是有些企业之所以不选择云存储服务,关键是因为繁重的运输流量会加重带宽的费用。如果没有宽带网络的发展,大容量数据的传输就不可能实现,云存储也就不可能实现。
其次,安全性和可用性也是云存储普遍面临的障碍之一。将企业数据和信息迁移至云中的做法,会让企业用户数据的安全性和可用性受到云存储服务供应商的牵制。所以,要通过CDN内容系统、数据加密技术来保证云存储中的数据不能被未授权的用户获得。
但是,云存储作为一种新的存储技术,与一般的存储设备相比还是具有很大的优势。
使用传统存储设备的企业,需要根据业务发展来不断购置存储设备,并且需要搭建平台以便有效实施企业信息化的管理。这样企业就浪费了很多时间和金钱,从而企业就不能专注于自身业务。如果使用云存储服务,企业在这些方面的投入就会小很多。使用云存储服务的企业只需要配置必要的终端设备接收存储服务就可以,这样企业就可以节省成本。
另外,企业使用云存储以后可以根据自身业务需求向供应商提出自己的要求,具有强大技术支持的云存储服务商就能够很快地根据企业业务需求更改系统,及时满足企业业务发展需要。而且云存储的维护和升级都由云存储服务提供完成,企业自身只需要付款即可。这样,企业节省了人力成本,也节省了费用。
HDS、EMC、NetApp、戴尔等专业存储供应商先后把云存储作为今后企业战略调整的关键。HDS即将推出的统一计算架构解决方案包括了刀片服务器、存储、网络和软件,其中日立有能力提供刀片服务器、存储和软件。除了Atmos平台以外,近期,EMC高调宣布注资富通公司,其目的就在于虚拟化和私有云建设。NetApp也将渠道的重点放在拓展系统集成商和云存储业务上。从渠道入手,将云存储解决方案的销售、部署和服务作为工作重点。戴尔公司更是通过各种措施展示了其强而有力的云存储战略。亚马逊S3、谷歌Drive等互联网公司的云存储产品也发展得如火如荼。
改变现状 实现融合
云计算被视为科技产业的下一次革命,它将带来商业模式的根本性改变,云存储作为云计算的延伸领域已经逐渐成为新经济环境下企业不可忽视的关键点。现在人们谈论的各种各样的云,不管是公有云、私有云,还是混合云,或者是各种行业云,云已经走入人们的视野,抓住了人们的眼球。基于云计算的服务也层出不穷。而涉及到云存储,人们已经开始谈论如何简化管理,如何让企业应用从孤岛到融合等。
云存储通过集群应用、网格技术或分布式文件系统等手段,将网络中各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。对于公司CIO来说,云存储意味着一个更加高效、安全、灵活的存储架构。云存储的诸多优势可以帮助企业减少存储管理的开销、降低能源的消耗和提高存储空间利用率。
部署云存储过程中遇到的主要问题是,如何将原来存储的数据整合到云存储中,以及如何保证云存储的数据安全、访问权限和数据调用的可管理性。云存储给企业IT架构带来了较好的整合效果,尤其是实现了网络基础架构的融合。
上一篇:团建活动方案(案例)【汇集4篇】
下一篇:环保活动策划方案(实例)精编3篇