中国IDC产业年度大典指定存储网站 第二届中国IDC产业年度大典(北京 2008年1月16日) 中国IT实验室旗下网站
存储世界
 热门搜索:SAN 虚拟化 RAID 容灾 ILM 分层存储 iSCSI SAS
搜索:
 您现在的位置: 中国IT实验室 >> 存储 >> 数据备份 >> 磁盘备份 >> 正文
高性能计算需要特殊的备份方法
来源:存储世界收集整理 时间:2008-11-28 保存本文 作者:佚名 收藏本站

    根据分析公司IDC的报告,高性能计算服务器(HPC)的销售额将在2012年达到156亿美元。但是对于存储管理员而言,HPC服务器市场不断扩大,也就意味着备份难度增加,这是因为HPC对备份有特殊的要求。

    在备份和灾难恢复领域,HPC引起了两大问题:大量数据、大量文件。

    HPC应用程序在处理包含地震信息或基因信息的文件时,会产生大量的工作负荷或数据。Gartner的咨询师David Russell说:“这些文件大得令人难以置信,传统的备份方法并不适用,或者需要花费大量时间。”例如,他指出一些HPC文件可能具有几千兆的字节。

    一些HPC程序还会产生极为大量的文件。Russell指出:“可能有上百万的文件,如何解释这些文件,如何通过操作系统和文件系统查看文件的变化,都是非常艰难的问题。”将数据存在磁盘中,或者让数据通过服务器和交换机,都需要很长时间。他说,简而言之,直接利用传统的备份工具备份HPC很容易引发灾难。

    Russell指出,HPC管理员既要使用基于阵列的快照和远程复制等技术,又要使用重复数据删除等数据精简方法,才能替换传统的备份工具。但是,Russell也指出,重复数据删除技术并不能精简所有的工作负荷。例如,当图像已经处于压缩状态时,就无法进一步精简了。

    Ocarina Networks等供应商仍提供压缩技术,Russell说:“这些技术能逆向还原大量文件,查找冗余。”有多种方法可以改善这个过程。

    对备份管理员而言,HPC中大量的文件仍是一项最大的挑战。“如果你拥有大量文件,文件又有大量I/O周期,那么询问所有的文件,即使是在晚上进行也需要花费大量的时间。”Russell说:“我听说一些HPC程序需要花费30个小时完成一次完全备份,而其中28个小时只是在扫描并查看哪些文件发生了变化。”

    Russell指出,如果资源不受限制,那么存储管理员就能拥有必需的磁盘、电力、物理空间,从而处理所有的备份任务。但是,HPC环境经常向外扩充,许多服务器需要分布式计算数据,这样备份工作就更加复杂了。这就意味着备份工作需要彼此协调,因为正如Russell所说:“你总不希望25台服务器具有完全不同的时间点。”他指出,备份必须协调,可以通过“强迫法”清除缓冲,设置检查点,从而实现协调。

    HPC能容忍短暂的停机时间

    存储分析公司The Mesabi Group的存储分析师David Hill指出,对许多HPC程序而言,用户并不在意短暂的停机时间,因为许多计算密集型的工作实际上是批量完成的。也就是说,用户在工作完成之前无法看到结果。“如果完成工作需要1个多小时,那么中间少了5分钟,你能感觉得到吗?”Hill说:“答案是否定的。”

    Hill认为:“这类工作真正需要的是检查点/重启性能,计算环境中存储器的状态会定期写入磁盘,因此可以重新启动。”

    Hill认为,实施HPC的公司愿意针对远程灾难恢复站点,采用双主动式(active-active)故障转移策略,既对本地问题进行操作性恢复,又对远程站点实施灾难恢复;不过,这项工作需根据时间价值和数据价值而定。Hill指出,还可以在本地实施CDP,同时使用VTL和标准的备份恢复软件包。

【责编:ben】
相关文章
虚拟化环境对存储备份有何影响
虚拟化技术是高性能计算的未来吗?
调查显示:存储备份基础构架亟待改进
存储高手速成:几种常见的存储备份系统
广东佛山市政府信息中心存储备份方案
DFT郑州广发行数据集中存储备份系统成功案例
数据存储指南 存储备份技术详解
最新文章
·神州数码存储产品联合巡展来到广东
·神州数码存储产品联合巡展启动
·NetApp Q4收入同比下降 花15亿美元收
·存储分析 EMC竞争对手将如何回应V-Ma
·备份工具转换过程有待实现无缝连接
·存储虚拟化五步规划
·CA推出全面恢复管理解决方案
 文章评论
 精彩友情推荐
·Asp源码 PHP源码
·CGI源码 JSP源码
·建站书籍教程
·服务器软件 .net源码
·建站工具软件
·IDC资讯大全
·机房品质万里行
·IDC托管必备知识
·全国IDC报价
·网站推广优化
行业信息关注  

HDS存储研发体系与

2008电脑展盘点:
·神州数码存储产品联合巡展来到广
·神州数码存储产品联合巡展启动
·NetApp Q4收入同比下降 花15亿美
·存储分析 EMC竞争对手将如何回应
·CA推出全面恢复管理解决方案
·市场分析:开源存储挣扎在存储边
特别推荐  
08版网络测试工具新鲜出炉
《IT实验室周报》征稿启事
中文Traceroute,路由信息一目了然
北大青鸟IT教育求学培训全攻略
固态硬盘--未来存储之星
中文授权Alexa网站排名查询
存储技术  
  现在我最关心的就是光纤网络的传输质量、有效传输距离以及数据传输速率等性能指标,因为,我们的机房和设备都分处两地...
·备份工具转换过程有待实现无缝连接
·实战:通过FTP远程访问ReadyNAS存储
·数据丢失保护并不等于终端安全性防护
·中小企业如何低成本实现企业数据级容灾
·CA免费提供重复数据删除和备份报告功能
·重复数据删除不足之处
·通过服务器虚拟化和iSCSI解决存储难题
·硬盘数据恢复的多种解决方案
产品专区  
·秒杀一切MLC!史上最强SLC SSD大测试
·深度观察:绿色存储的八大节能策略
·存储行业依然蕴含机会 五家厂商受关注
·I/O至尊 希捷Savvio15K.2硬盘详细评测
·速度不再重要?市售单碟500GB硬盘横评
·实战端口复用器 赛恩斯5口SATA存储评测
·解析EMC Symmetrix V-MAX的更新亮点
·存储架构面临变革 什么样的客户应该用X
·QNAP最新系列产品 TS-219 NAS详细评测
·深入剖析IBM XIV网格存储硬件体系结构
 Chinaitlab Group 旗下网站:  中国IT实验室 | 中国IDC圈 | 存储世界 | 数字网校 | 21世纪IT人才网
关于我们 | 广告服务| 成功客户 | 合作媒体 | 网站历史 | 联系我们 | 招聘信息 | 免责声明 | 社区之歌
Copyright © 2001 - 2007 All Rights Reserved
粤ICP备05089709