中国IDC产业年度大典指定存储网站 中国IT实验室旗下网站
存储世界
 热门搜索:SAN 虚拟化 RAID 容灾 ILM 分层存储 iSCSI SAS
搜索:
 您现在的位置: 中国IT实验室 >> 存储 >> 数据备份 >> 备份软件 >> 正文
数据存储技术倍增储存容量的COS技术(二)
来源:ChinaItLab 时间:2007-11-15 保存本文 作者:佚名 收藏本站

  COS的限制:效能与应用环境

  COS虽有大幅缩减储存空间的效果,但其整体压缩的演算显然也是要付出相当的代价,以致限制了COS的应用。主要的限制有2点:

      >>效能限制―不支持实时读写环境

  由于多了COS的整体压缩演算必然会影响到系统的I/O效能,不过目前Data Domain的COS功能都是透过Appliance的方式来实现,对系统效能的影响较低,以目前实测中的表现来看,COS的压缩演算在Gbps的网络环境下,虽还不至于成为系统效能上的瓶颈,但也因此而不适于实时环境的应用,也就是说不能把COS产品当作一般的磁盘或网络储存装置(NAS)来使用,这并不是COS产品的定位所在。

      >>应用环境限制―仅支持备份软件下的作业

  除了压缩演算会影响系统效能外,由于COS的整体压缩需要比对已存放在硬盘中的旧压缩数据,因此在DD OS所控制的磁盘空间中,压缩数据都是以Data Domain锁定义的特殊格式排列,以便DD OS进行特征值比对。所以DD OS控制的磁盘空间是不对外开放的,不允许其它程序或档案系统读写这块磁盘空间,因此也不能支持一般档案系统的数据实时读写。

  为简化问题,Data Domain将COS的应用范围限制在备份的应用上,只能在备份软件下作业,COS机器也只能做为备份软件下的一个储存媒体,而不能当作一般的磁盘阵列使用。备份软件对COS机器的读写要求都是透过DD OS来进行,也就是说DD OS会把备份软件隔绝在机器外,COS机器对备份软件来说是个黑箱,备份软件并不知道其送给COS机器的数据已经过压缩处理。

  不过Data Domain的产品能够支持市场上绝大部分的备份软件,可适应大部分用户的储存环境,一定程度减缓了这个问题。

  COS的效益―大幅降低储存空间的消耗

        档案测试

次数 每次备份的数据量 未压缩数据量 压缩后新增数据量 压缩率
1 6.7GB 6.7GB 3.7GB 1.8
2 6.7GB 6.7GB 100MB 3.4
3 6.7GB 6.7GB 200MB 6
4 10.1GB 10.1GB 800MB 6.4
5 11.4GB 11.4GB 100MB 8.4
      
      数据库测试

次数 每次备份的数据量 未压缩数据量 压缩后新增数据量 压缩率
1 2.6GB 2.6GB 1.3GB 2
2 2.6GB 2.6GB 0 3.7
3 3.4GB 3.4GB 100MB 4.5

      *压缩率=各次备份数据量总合/压缩后占用容量总合

  压缩数据、减少储存空间损耗是COS的最大卖点。由于目前SATA硬盘的售价不断降低,就中小企业或个人端来说,对储存空间需求较小,最多不过几百GB到1~2TB而已,硬盘的购置费用还不会成为非常大的负担,因此不能感受到COS所带来的效益。

  但对储存容量需求达数十甚至上百TB以上的中大型企业来说情况就不同了,1套8TB的磁盘阵列售价就超过40万元,20~30TB以上的机种售价更超过百万元。若能透过COS以容量较小实体硬盘来满足较高储存容量的需求,无形间也就等同于节省了数十万元的硬盘购置费用。

  除了在备份软件下当作一个储存媒体使用外,COS产品也十分适合作为虚拟磁带柜(VTL)之类磁盘到磁盘再到磁带(D2D2T)的应用环境。在 D2D2T环境中,作为前端磁盘与后端磁带缓冲的中介磁盘容量,决定了将数据从磁盘转移到磁带上的频率。显然的,缓冲的中介磁盘容量越小,用户就必须更频繁的执行媒体转移的工作,由于磁带是属于离线作业的媒体,若用户的数据量很大,将数据转移到磁带上所需的作业时间可能过长。因此较理想的做法是把D2T的转移时间挪到周末来进行,但这也就表示:作为前端磁盘与后端磁带设备中介缓冲的硬盘容量必须能满足5日以上的需求,在数据量很大的情况下,用户必须选用高容量的磁盘阵列才能应付,但高容量的磁盘阵列耗费庞大,因此若改用具备COS技术的装置,显然就能在不扩充实体硬盘的情况下,大幅提升中介磁盘的储存能力,节省耗费在扩充硬盘容量上的开销。

  为了验证COS的数据压缩能力,我们借用了麟瑞科技的机房进行了Data Domain的COS实机测试。使用的COS产品为Data Domain的DD 430.测试平台为Windows Server 2003,备份服务器使用Veritas NBU 6.0 enterprise,并以SQL Server进行数据库测试。

  测试分为档案与数据库两部分,档案部分利用备份服务器直接将6.7GB的数据,透过备份软件的Agent存放到Data Domain DD 430中,不改变数据内容重复备份3次,每次皆为完全备份。接下来改变数据内容作2次备份,记录每次备份的压缩率。

  数据库部分则是以备份服务器将SQL数据透过NBU的Agent备份到DD430中,前2次备份不改变数据内容,皆为完全备份,接着于数据库内写入新数据,仿真数据异动后,接着再进行备份,并记录每次备份的压缩率。

  由测试结果可以看到,COS确实有压缩的效果,以档案测试而言,第1次档案备份的压缩率可达1.8:1左右,而在作5次备份后,我们更动了原先资 料70%的内容,大约新增了4.7GB的数据,但经COS的整体压缩后,这4.7GB的新增数据实际上只占用了DD430 1.2GB的空间。

  而数据库测试的压缩率还更高,第1次备份2.6GB SQL数据的压缩率为2:1,大致与一般压缩技术所能达到的压缩率相当,然而当新增了0.8G数据后,在DD 430上却只多占用了100MB的实体空间而已。当然这也显示在一般的数据库数据中,若从底层来看,确实有相当多冗余的部分。

  由测试数据另外还可看出一个趋势,在典型的储存环境下,由于数据异动量有限,多次备份间的数据重复之处甚多,因此在使用COS技术作越多次备份时,压缩率就会越高,在某些环境下,经过数十次的备份后的压缩率甚至可达20:1以上。当然实际的压缩率需视储存环境而定。

  COS产品简介―DD200/400与DD460G

  COS是Data Domain的核心技术,目前商业化的产品有磁盘阵列控制器与网关器两类。

  磁盘阵列控制器

  如前所述,Data Domain的磁盘阵列控制器基本上就是一台应用程序服务器,内含8~15台SATA硬盘,由DD OS负责控制。目前Data Domain的磁盘阵列控制器有发表已2年的DD200与新的DD400两系列,DD200可提供4TB的原生容量,DD400则可提供1.2~6TB的 原生容量。

  透过COS技术,可满足相当于15~80TB的实体储存容量要求(视数据型态而定)。DD200为4U机架,DD400则为3U,两者也都具备高 可靠度技术来保护硬盘,DD200支持RAID 0+1,而DD400则支持更高阶的DD RAID,DD RAID可容许数组中的2台硬盘同时失效,功能相当于RAID 6,另外数据在写入DD200/400时也都会经过验证与纠错机制的检验。目前DD200/400均只支持GbE网络,之后将会增加FC接口,用户可透过 浏览器登入DD200/400的管理接口执行管理作业,如检视系统状态、使用状况统计、设定管理密码等。

  DD200/400支持市场上绝大多数的备份软件,包括Veritas Netbackup、Backup Exec、EMC Legato Networker、HP Data Protector与Bakbone NetVault等,另外还能提供远程复制的应用,经过COS压缩后存放于DD200/400内的数据,可经由网络送到远程的另一台DD200/400上 作为异地备援。由于传输的是经COS处理过后的数据,所以占用的频宽较小,但需放到另一台DD200/400上,才能使用这些数据。

  DD460G网关器

  多数企业用户都已有自己的磁盘阵列,因此DD200/400内的硬盘对他们来说是多余的,故Data Domain另推出DD460G网关器来满足这类用户的需求。DD460G可配合用户已有的磁盘产品使用,只需分画一块区域出来给DD460G控制即可。

【责编:John】
相关文章
存储讲堂:详解四大RAID存储
3PAR:存储的多面手
规划虚拟存储应格外注意数据的生命周期
定制灾备5步曲
成本与效能的平衡 浪潮存储容灾解决方案剖析
分析:企业内部的存储 + 云中的存储
谁将成为存储巨头们的猎物?
最新文章
·盘点硬盘领域的九大基础技术
·存储讲堂:详解四大RAID存储
·剖析文件虚拟化以及四种SAN虚拟架构
·深度解析RAID类型 全面透视RAID 10优
·磁盘阵列三大关键部件
·全方位解析虚拟带库优势特点
·云存储应该用在什么样的业务系统中
 文章评论
 精彩友情推荐
·Asp源码 PHP源码
·CGI源码 JSP源码
·建站书籍教程
·服务器软件 .net源码
·建站工具软件
·IDC资讯大全
·机房品质万里行
·IDC托管必备知识
·全国IDC报价
·网站推广优化
行业信息关注  

HDS存储研发体系与

2008电脑展盘点:
·赛门铁克发布FileStore云存储平台
·HDS发布Content Platform 瞄准云
·企业考虑基于云的电子邮件管理服
·美光发布首款SATA 6Gbps SSD明年
·唤起儿时的记忆  迪士尼移动存储
·迪士尼青睐国内消费电子市场  力
特别推荐  
08版网络测试工具新鲜出炉
《IT实验室周报》征稿启事
中文Traceroute,路由信息一目了然
北大青鸟IT教育求学培训全攻略
固态硬盘--未来存储之星
中文授权Alexa网站排名查询
存储技术  
  现在我最关心的就是光纤网络的传输质量、有效传输距离以及数据传输速率等性能指标,因为,我们的机房和设备都分处两地...
·盘点硬盘领域的九大基础技术
·存储讲堂:详解四大RAID存储
·剖析文件虚拟化以及四种SAN虚拟架构
·深度解析RAID类型 全面透视RAID 10优势
·磁盘阵列三大关键部件
·全方位解析虚拟带库优势特点
·云存储应该用在什么样的业务系统中
·全磁盘加密:辨别该做的和不该做的
产品专区  
·System Storage DS8700实现150%性能提升
·中小企业存储产品与方案应用导购
·Adaptec 5445Z SAS&SATA阵列卡图赏
·关于云存储需要弄清的五大问题
·深入解析SSD中MLC与SLC的性能差异
·多重虚拟机备份流化减少RTO
·普通硬盘vs固态硬盘——SSD值那么多钱吗
·固态硬盘评测:80GB Intel X25-M
·MLC性能直逼SLC!海盗船P256 SSD测试
·最大容量500GB 日立P7K500系列硬盘解析
 Chinaitlab Group 旗下网站:  中国IT实验室 | 中国IDC圈 | 存储世界 | 数字网校 | 21世纪IT人才网
关于我们 | 广告服务| 成功客户 | 合作媒体 | 网站历史 | 联系我们 | 招聘信息 | 免责声明 | 社区之歌
Copyright © 2001 - 2007 All Rights Reserved
京ICP备09039051号