中国IDC产业年度大典指定存储网站 第二届中国IDC产业年度大典(北京 2008年1月16日) 中国IT实验室旗下网站
存储世界
 热门搜索:SAN 虚拟化 RAID 容灾 ILM 分层存储 iSCSI SAS
搜索:
 您现在的位置: 中国IT实验室 >> 存储 >> 数据备份 >> 备份软件 >> 文章正文
数据存储技术倍增储存容量的COS技术(二)
来源:中国IT实验室收集整理 时间:2007-11-15 保存本文 作者:佚名 收藏本站

  COS的限制:效能与应用环境

  COS虽有大幅缩减储存空间的效果,但其整体压缩的演算显然也是要付出相当的代价,以致限制了COS的应用。主要的限制有2点:

      >>效能限制―不支持实时读写环境

  由于多了COS的整体压缩演算必然会影响到系统的I/O效能,不过目前Data Domain的COS功能都是透过Appliance的方式来实现,对系统效能的影响较低,以目前实测中的表现来看,COS的压缩演算在Gbps的网络环境下,虽还不至于成为系统效能上的瓶颈,但也因此而不适于实时环境的应用,也就是说不能把COS产品当作一般的磁盘或网络储存装置(NAS)来使用,这并不是COS产品的定位所在。

      >>应用环境限制―仅支持备份软件下的作业

  除了压缩演算会影响系统效能外,由于COS的整体压缩需要比对已存放在硬盘中的旧压缩数据,因此在DD OS所控制的磁盘空间中,压缩数据都是以Data Domain锁定义的特殊格式排列,以便DD OS进行特征值比对。所以DD OS控制的磁盘空间是不对外开放的,不允许其它程序或档案系统读写这块磁盘空间,因此也不能支持一般档案系统的数据实时读写。

  为简化问题,Data Domain将COS的应用范围限制在备份的应用上,只能在备份软件下作业,COS机器也只能做为备份软件下的一个储存媒体,而不能当作一般的磁盘阵列使用。备份软件对COS机器的读写要求都是透过DD OS来进行,也就是说DD OS会把备份软件隔绝在机器外,COS机器对备份软件来说是个黑箱,备份软件并不知道其送给COS机器的数据已经过压缩处理。

  不过Data Domain的产品能够支持市场上绝大部分的备份软件,可适应大部分用户的储存环境,一定程度减缓了这个问题。

  COS的效益―大幅降低储存空间的消耗

        档案测试

次数 每次备份的数据量 未压缩数据量 压缩后新增数据量 压缩率
1 6.7GB 6.7GB 3.7GB 1.8
2 6.7GB 6.7GB 100MB 3.4
3 6.7GB 6.7GB 200MB 6
4 10.1GB 10.1GB 800MB 6.4
5 11.4GB 11.4GB 100MB 8.4
      
      数据库测试

次数 每次备份的数据量 未压缩数据量 压缩后新增数据量 压缩率
1 2.6GB 2.6GB 1.3GB 2
2 2.6GB 2.6GB 0 3.7
3 3.4GB 3.4GB 100MB 4.5

      *压缩率=各次备份数据量总合/压缩后占用容量总合

  压缩数据、减少储存空间损耗是COS的最大卖点。由于目前SATA硬盘的售价不断降低,就中小企业或个人端来说,对储存空间需求较小,最多不过几百GB到1~2TB而已,硬盘的购置费用还不会成为非常大的负担,因此不能感受到COS所带来的效益。

  但对储存容量需求达数十甚至上百TB以上的中大型企业来说情况就不同了,1套8TB的磁盘阵列售价就超过40万元,20~30TB以上的机种售价更超过百万元。若能透过COS以容量较小实体硬盘来满足较高储存容量的需求,无形间也就等同于节省了数十万元的硬盘购置费用。

  除了在备份软件下当作一个储存媒体使用外,COS产品也十分适合作为虚拟磁带柜(VTL)之类磁盘到磁盘再到磁带(D2D2T)的应用环境。在 D2D2T环境中,作为前端磁盘与后端磁带缓冲的中介磁盘容量,决定了将数据从磁盘转移到磁带上的频率。显然的,缓冲的中介磁盘容量越小,用户就必须更频繁的执行媒体转移的工作,由于磁带是属于离线作业的媒体,若用户的数据量很大,将数据转移到磁带上所需的作业时间可能过长。因此较理想的做法是把D2T的转移时间挪到周末来进行,但这也就表示:作为前端磁盘与后端磁带设备中介缓冲的硬盘容量必须能满足5日以上的需求,在数据量很大的情况下,用户必须选用高容量的磁盘阵列才能应付,但高容量的磁盘阵列耗费庞大,因此若改用具备COS技术的装置,显然就能在不扩充实体硬盘的情况下,大幅提升中介磁盘的储存能力,节省耗费在扩充硬盘容量上的开销。

  为了验证COS的数据压缩能力,我们借用了麟瑞科技的机房进行了Data Domain的COS实机测试。使用的COS产品为Data Domain的DD 430.测试平台为Windows Server 2003,备份服务器使用Veritas NBU 6.0 enterprise,并以SQL Server进行数据库测试。

  测试分为档案与数据库两部分,档案部分利用备份服务器直接将6.7GB的数据,透过备份软件的Agent存放到Data Domain DD 430中,不改变数据内容重复备份3次,每次皆为完全备份。接下来改变数据内容作2次备份,记录每次备份的压缩率。

  数据库部分则是以备份服务器将SQL数据透过NBU的Agent备份到DD430中,前2次备份不改变数据内容,皆为完全备份,接着于数据库内写入新数据,仿真数据异动后,接着再进行备份,并记录每次备份的压缩率。

  由测试结果可以看到,COS确实有压缩的效果,以档案测试而言,第1次档案备份的压缩率可达1.8:1左右,而在作5次备份后,我们更动了原先资 料70%的内容,大约新增了4.7GB的数据,但经COS的整体压缩后,这4.7GB的新增数据实际上只占用了DD430 1.2GB的空间。

  而数据库测试的压缩率还更高,第1次备份2.6GB SQL数据的压缩率为2:1,大致与一般压缩技术所能达到的压缩率相当,然而当新增了0.8G数据后,在DD 430上却只多占用了100MB的实体空间而已。当然这也显示在一般的数据库数据中,若从底层来看,确实有相当多冗余的部分。

  由测试数据另外还可看出一个趋势,在典型的储存环境下,由于数据异动量有限,多次备份间的数据重复之处甚多,因此在使用COS技术作越多次备份时,压缩率就会越高,在某些环境下,经过数十次的备份后的压缩率甚至可达20:1以上。当然实际的压缩率需视储存环境而定。

  COS产品简介―DD200/400与DD460G

  COS是Data Domain的核心技术,目前商业化的产品有磁盘阵列控制器与网关器两类。

  磁盘阵列控制器

  如前所述,Data Domain的磁盘阵列控制器基本上就是一台应用程序服务器,内含8~15台SATA硬盘,由DD OS负责控制。目前Data Domain的磁盘阵列控制器有发表已2年的DD200与新的DD400两系列,DD200可提供4TB的原生容量,DD400则可提供1.2~6TB的 原生容量。

  透过COS技术,可满足相当于15~80TB的实体储存容量要求(视数据型态而定)。DD200为4U机架,DD400则为3U,两者也都具备高 可靠度技术来保护硬盘,DD200支持RAID 0+1,而DD400则支持更高阶的DD RAID,DD RAID可容许数组中的2台硬盘同时失效,功能相当于RAID 6,另外数据在写入DD200/400时也都会经过验证与纠错机制的检验。目前DD200/400均只支持GbE网络,之后将会增加FC接口,用户可透过 浏览器登入DD200/400的管理接口执行管理作业,如检视系统状态、使用状况统计、设定管理密码等。

  DD200/400支持市场上绝大多数的备份软件,包括Veritas Netbackup、Backup Exec、EMC Legato Networker、HP Data Protector与Bakbone NetVault等,另外还能提供远程复制的应用,经过COS压缩后存放于DD200/400内的数据,可经由网络送到远程的另一台DD200/400上 作为异地备援。由于传输的是经COS处理过后的数据,所以占用的频宽较小,但需放到另一台DD200/400上,才能使用这些数据。

  DD460G网关器

  多数企业用户都已有自己的磁盘阵列,因此DD200/400内的硬盘对他们来说是多余的,故Data Domain另推出DD460G网关器来满足这类用户的需求。DD460G可配合用户已有的磁盘产品使用,只需分画一块区域出来给DD460G控制即可。

【责编:John】
相关文章
惠普奋力寻求存储业务新增长
Adaptec宣布推出业内首款基于PCIe的SCSI HB
性能突破与安全保障 HP正式发布LTO-4磁带产
针对中小企业的NetStor iTA系列自动加载磁带
存储新丁欲革磁带产品的命?
存储分析 赛门铁克与Xen进行虚拟化合作
存储分析 存储虚拟化进入新的发展阶段
最新文章
·期待已久 Sun发布固定内容归档技术
·如何将服务器接入到SAN环境
·希捷表示计划于2008年推出SSD产品
·我们到底需要什么样的存储虚拟化
·NetApp年度渠道峰会 继续强化统一存储
·我们到底需要什么样的存储虚拟化
·戴尔发力存储市场 与EMC关系存疑
 文章评论
 精彩友情推荐
·博达交换机
·博达镜像交换机
·博达镜像交换机报价
·bdcom交换机
·博达网络交换机
·IDC资讯大全
·机房品质万里行
·IDC托管必备知识
·全国IDC报价
·网站推广优化
行业信息关注  

越来越存储 SAS将

引领存储技术革命
·期待已久 Sun发布固定内容归档技
·希捷表示计划于2008年推出SSD产品
·NetApp年度渠道峰会 继续强化统一
·戴尔发力存储市场 与EMC关系存疑
·固态盘:2009到2010年普及?
·越来越存储 SAS将入中端磁盘阵列
特别推荐  
第二届中国IDC产业大典正式启动
视频杂志下载:服务器Raid技术实战
深圳文博会:游戏开发与技术应用研讨会
网罗天下:2007中国IDC行业资讯大全
IT实验室在京发布国内第一首IT社区歌曲
中文授权Alexa网站排名查询
存储技术  
  数年以前,我们总在谈论XXXX年,但当我们谈论XXXX年的时候,往往离这些技术走向应用还有一段距离...
·如何将服务器接入到SAN环境
·我们到底需要什么样的存储虚拟化
·部署存储管理 企业要先知先觉
·归档数据进入EB级 企业如何应对
·HDS进入高端NAS 胜算有几何?
·教育行业信息存储之NAS应用
·深度分析:iSCSI与FC比肩齐飞
·HDS携手BlueArc征战NAS市场
产品专区  
·网络存储产品评测:网牛测试报告
·大众价格 Thecus N4100+网络存储器评测
·脱机也可下载BT——元谷网牛试用手记
·中小企业部门智能存储系统,正睿ZRI-X4
·旧瓶新酒 华硕新版WL-HDD无线存储器简评
·高速大容量 BUFFALO网络存储器250GL评测
·联想Lenovo-HDS AMS200存储产品资料
·保证数据安全 主流SAS RAID卡技术解析
·速度为王! Buffalo高速NAS简单试用
·垂直记录的铺路石:500GB级SATA硬盘横评
 Chinaitlab Group 旗下网站:  中国IT实验室 | 中国IDC圈 | 存储世界 | 数字网校 | 21世纪IT人才网
关于我们 | 广告服务| 成功客户 | 合作媒体 | 网站历史 | 联系我们 | 招聘信息 | 免责声明
Copyright © 2001 - 2007 All Rights Reserved
粤ICP备05089709