超400PB!IBM大数据技术管理最大气候档案

来源：中关村在线

2015/5/26 16:30:14

德国气候研究中心使用IBM的技术与服务管理世界上最大的气候模拟数据档案，该档案目前包含超过400PB数据，预计将在未来五年以每年约75PB的速度增长。在日益强大的超级计算机上进行气候模拟会产生海量数据，数据必须进行有效的存储与分析，而这些数据供全世界尖端气候研究人员使用。

本文关键字： IBM 大数据

　　近日，从国外报道了解，德国气候研究中心使用IBM的技术与服务管理世界上最大的气候模拟数据档案，该档案目前包含超过400PB数据，预计将在未来五年以每年约75PB的速度增长。在日益强大的超级计算机上进行气候模拟会产生海量数据，数据必须进行有效的存储与分析，而这些数据供全世界尖端气候研究人员使用。

IBM大数据让全球最大气候数据档案
图片来源IBM

　　资料显示，为了利用分级存储管理 (Hierarchical StorageManagement) 系统高效管理并快速访问这些数据以支持分析与研究，该中心选择了由IBM和美国能源部共同开发的高性能存储系统(HPSS)软件解决方案。在多项IBM服务的支持下，该解决方案能够处理超过500PB的数据。

　　包括联合国政府间气候变化专门委员会(IPCC) 、德国马普学会气象研究所、汉堡大学在内的众多机构和德国气候计算中心使用档案中的数据开展一系列研究和报告活动，德国气候计算中心主任兼汉堡大学计算机科学教授Thomas Ludwig表示：

　　“应对气候变化及其对环境和人们日常生活影响的挑战需要收集、存储和分析大量数据，依靠IBM的技术与专业知识来帮助我们向全世界最重要的气候及环境研究机构提供该项基本服务。”

IBM大数据让全球最大气候数据档案
图片来源IBM

　　该中心的分级存储管理（HSM）系统的升级方案包括一个由最新x86服务器和运行HPSS软件的RedHat Linux操作系统组成。该解决方案管理着全部模拟数据，并充当该中心的高性能计算系统与磁带存储库（气候数据存储于其中）之间的输入输出接口。

　　该解决方案使用5PB存储容量的磁盘高速缓存，并且能够提供高达12GB/s的数据存取速度，未来还将升级到18GB/s。IBM利用现场数据中心管理服务、项目管理服务和硬件厂商管理服务来支持该解决方案，HPSS解决方案则包含IBM DB2可扩展关系数据库软件。

　　据悉，HPSS技术是IBM与隶属美国能源部的劳伦斯利弗莫尔、洛斯阿拉莫斯、桑迪亚、劳伦斯伯克利及橡树岭国家实验室二十年合作的成果。该技术用于研究设施和大学的超大型科学数据档案及气象预报系统。

责编：何鹏

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友

著作权声明：畅享网文章著作权分属畅享网、网友和合作伙伴，部分非原创文章作者信息可能有所缺失，如需补充或修改请与我们联系，工作人员会在1个工作日内配合处理。