中国IDC产业年度大典指定存储网站 第二届中国IDC产业年度大典(北京 2008年1月16日) 中国IT实验室旗下网站
存储世界
 热门搜索:SAN 虚拟化 RAID 容灾 ILM 分层存储 iSCSI SAS
搜索:
 您现在的位置: 中国IT实验室 >> 存储 >> 数据备份 >> 备份软件 >> 文章正文
数据存储技术倍增储存容量的COS技术(一)
来源:中国IT实验室收集整理 时间:2007-11-15 保存本文 作者:佚名 收藏本站

  透过整体压缩技术,COS能大幅缩减数据占用的储存空间,从而提高实体磁盘的储存效率。

  Data Domain的储存容量最佳化技术(COS,Capacity Optimized Storage)透过压缩的原理,藉由拆解与比对数据内容,可大幅缩减备份媒体所需的容量。

  COS会将数据切割为Segment(数据区段),透过Data Domain专利的算法分析各Segment数据的特征值,并与已有数据的特征值比对,只储存新增或更动的数据,从而大幅降低数据对储存空间的需求。

  COS的原理

  COS 是一项针对硬盘的备份储存解决方案,其关键在于Data Domain所谓的「整体压缩(Global Compression)」技术。整体压缩的原理与传统的无失真数据压缩技术相似,都是针对数据中的重复部分,透过特定的算法去除数据中因重复而造成的冗余,用较少的容量来表示与原始信息等价的讯息内容。

  一般的数据压缩在消除冗余重复数据的作用方面都是离散的,去除冗余数据的效果只及于该次压缩的数据。举例来说,若对某硬盘中的数据每日均以压缩方式进行备份,虽然每次压缩都能去除数据中的冗余部分,但考虑到一般环境下储存系统的数据异动量并不大,所以两次压缩的数据内容之间仍会有许多重复之处。

  而整体压缩的特殊之处在于其压缩效果可扩及「整体」,不像传统压缩技术只针对该次压缩的数据进行演算。其运作步骤如下:

  (1)分解数据,求出特征值

  先把数据分解成4~16kB大小的Segment,对每个Segment以特殊的算法求出其特征值。

  (2)分析、比对数据特征值

  透过特征值的比对即可判定哪些Segment的数据为重复,哪些没有重复,重复的Segment将会被去除,剩余Segment则成为基本元素。另外并生成一个索引以记载原先各Segment数据的组成结构。

  (3)将数据分解成基本元素

  去除重复的Segment,留下来的Segment即成储存的基本元素。透过记录数据结构的索引以及基本元素,系统即可将压缩后的数据还原为原始数据。

  前述步骤的原则与一般压缩差不多,整体压缩的关键之处是在于第2次以后的压缩。第1次压缩后的数据会以特定方式存放于硬盘上,当执行第2次以后的压缩时,系统除了会比对后续压缩所得出的特征值外,还会与已储存在硬盘中前几次压缩所得到的数据作特征值比对,并只留下与已有数据不同的新数据。为提高压缩效果,系统会在弹性调整Segment大小(平均8kB),以求得出最好的特征值比对效果。

  由于一般企业作业环境中的数据异动量不高,每次执行备份时其实都储存了许多重复的数据。而整体压缩只会储存有变动的数据,若以未压缩的原始数据量为基准,在以整体压缩执行多次压缩时,执行越多次后的压缩率就会越高。

  与其它节省容量技术比较

  COS的最大特色就是在于节省储存空间,厂商宣称最高可达到20:1以上的压缩率,目前虽然也有其它方式可以节省储存容量,如一般的压缩或增量备份等,但这些方式都没办法达到COS的压缩效率。

      >>COS vs.一般压缩

  COS 使用的是整体压缩,而一般压缩则是属于区域(local)压缩技术。两者间最大不同之处在于,整体压缩在比对、判定冗余数据时,会把过去所有以整体压缩处理过的数据再提取出来与新增数据作比对,而一般压缩则不处理过去的数据,只针对本次压缩的数据进行压缩运算,因此两者间在压缩率方面的差异很大。一般的不失真压缩技术平均只能达到2:1的压缩率,而整体压缩则能达到7:1或更高的压缩率。

      >>COS vs. 增量备份

  传统上以第1次完全备份(Full Backup)+后续增量备份(incremental Backup)的方式,是最节省储存空间的一种备份方式。在第1次的完全备份执行过后,后续的增量备份都只会备份异动或是新增的数据,理论上也能达到降低储存容量的效果。

  但上述的关键在于增量备份是一种以档案(file)或区块(block)为基础的作业,其判定数据是否异动的基准是档案属性中的保存位 (Archive bit)值,或是区块中特定位值,备份的单位是档案或是区块。增量备份虽然只会备份异动部分的档案或区块,但从「低于」档案或区块的层级来检视数据,可以发现在每次增量备份所备份的数据中,或是多次增量备份的数据之间,仍然存在有许多重复的位,但增量备份只能以整个档案或区块为单位来运作,而不能去除这些重复的部分,无形间就耗损了不少储存空间在这些可被视作冗余的数据上。

  COS就不会有这种问题,它会对备份数据进行低于区块(sub -block level)层级的检视,其整体压缩算法会以4~16kB为单位,动态的调整拆解数据进行分析的Segment大小,以得到最好的冗余判定效果。因此不管是单次备份或多次备份间的冗余数据,都能被COS所剔除,从而节省更多的空间。在一般的作业环境下,由于数据的异动量有限,多次备份间彼此重复的冗余资料其实相当多,因此以整体压缩作越多次备份后,得到的压缩率就会越高。

  COS的实际运作

  COS技术是源自于普林斯顿大学计算机科学学院教授李凯(Kai Li)关于数据压缩算法的论文(李凯也是Data Domain的3位创办人之一),目前商业化的COS产品均为软、硬件合一的应用程序服务器(Appliance),基本上就是一台磁盘阵列控制器,内含 8~16台硬盘,由DD OS(Data Domain OS)负责数据I/O控制与整体压缩处理。其安装相当简单,只要把这台磁盘阵列控制器装上机架,并以以太网络接上备份服务器,再于备份软件中将Data Domain的COS机器设为备份储存媒体即可。

  运作时COS机器从备份服务器接收备份软件所传过来的数据,经DD OS以整体压缩处理后,再放到机器内含的硬盘。整体压缩与原始数据的格式无关,备份服务器端所看到的数据仍是原来的状态,对备份软件来说,Data Domain的COS机器只是1台大容量的磁盘而已。需要还原数据时则由备份软件发出指令,DD OS收到指令后会从硬盘中将指定的数据取出,组回原来的格式与结构,再送回备份服务器,所有的压缩与解压缩作业都是由后端的DD OS负责,与前端的备份软件无关。

【责编:John】
相关文章
惠普奋力寻求存储业务新增长
Adaptec宣布推出业内首款基于PCIe的SCSI HB
性能突破与安全保障 HP正式发布LTO-4磁带产
针对中小企业的NetStor iTA系列自动加载磁带
存储新丁欲革磁带产品的命?
存储分析 赛门铁克与Xen进行虚拟化合作
存储分析 存储虚拟化进入新的发展阶段
最新文章
·期待已久 Sun发布固定内容归档技术
·如何将服务器接入到SAN环境
·希捷表示计划于2008年推出SSD产品
·我们到底需要什么样的存储虚拟化
·NetApp年度渠道峰会 继续强化统一存储
·我们到底需要什么样的存储虚拟化
·戴尔发力存储市场 与EMC关系存疑
 文章评论
 精彩友情推荐
·博达交换机
·博达镜像交换机
·博达镜像交换机报价
·bdcom交换机
·博达网络交换机
·IDC资讯大全
·机房品质万里行
·IDC托管必备知识
·全国IDC报价
·网站推广优化
行业信息关注  

越来越存储 SAS将

引领存储技术革命
·期待已久 Sun发布固定内容归档技
·希捷表示计划于2008年推出SSD产品
·NetApp年度渠道峰会 继续强化统一
·戴尔发力存储市场 与EMC关系存疑
·固态盘:2009到2010年普及?
·越来越存储 SAS将入中端磁盘阵列
特别推荐  
第二届中国IDC产业大典正式启动
视频杂志下载:服务器Raid技术实战
深圳文博会:游戏开发与技术应用研讨会
网罗天下:2007中国IDC行业资讯大全
IT实验室在京发布国内第一首IT社区歌曲
中文授权Alexa网站排名查询
存储技术  
  数年以前,我们总在谈论XXXX年,但当我们谈论XXXX年的时候,往往离这些技术走向应用还有一段距离...
·如何将服务器接入到SAN环境
·我们到底需要什么样的存储虚拟化
·部署存储管理 企业要先知先觉
·归档数据进入EB级 企业如何应对
·HDS进入高端NAS 胜算有几何?
·教育行业信息存储之NAS应用
·深度分析:iSCSI与FC比肩齐飞
·HDS携手BlueArc征战NAS市场
产品专区  
·网络存储产品评测:网牛测试报告
·大众价格 Thecus N4100+网络存储器评测
·脱机也可下载BT——元谷网牛试用手记
·中小企业部门智能存储系统,正睿ZRI-X4
·旧瓶新酒 华硕新版WL-HDD无线存储器简评
·高速大容量 BUFFALO网络存储器250GL评测
·联想Lenovo-HDS AMS200存储产品资料
·保证数据安全 主流SAS RAID卡技术解析
·速度为王! Buffalo高速NAS简单试用
·垂直记录的铺路石:500GB级SATA硬盘横评
 Chinaitlab Group 旗下网站:  中国IT实验室 | 中国IDC圈 | 存储世界 | 数字网校 | 21世纪IT人才网
关于我们 | 广告服务| 成功客户 | 合作媒体 | 网站历史 | 联系我们 | 招聘信息 | 免责声明
Copyright © 2001 - 2007 All Rights Reserved
粤ICP备05089709