曙光柔性处理平台携手同济大学应对大数据

来源：ccidnet

2013/7/2 10:34:39

曙光公司与负责承建工作的同济大学电信学院紧密合作，对现有资产和网络状况进行了多次研究分析。最终，同济大学使用了基于曙光公司为其构建的柔性处理平台。平台采用了分区方式，其应用将涵盖三个服务分区和一个共享存储中心，即网络信息服务、交通信息分析、医疗数据分析和存储中心。

分享到：新浪微博腾讯微博

本文关键字：曙光柔性处理平台高性能计算同济大学

在硬件高速革新和软件高度智能化的今天，以“大数据”为代表的新一轮教育信息化建设浪潮推到了我们面前。为了满足爆炸式增长的用户和数据量，同济大学携手国内领先的IT整体解决方案和服务提供商中科曙光，在全面整合云计算平台和现有资产的基础上，采用DS800-F20存储系统、Gridview集群管理系统，以及Hadoop分布式计算平台构建出了业内领先的大数据柔性处理平台，使得同济大学在信息学科及其交叉学科研究领域迈上一个新台阶。

基础平台需要更具灵活性高效能才能提供差异化服务

创校百年的同济大学，是一所拥有理、工、医、文、法、哲、经济、管理、教育9大学科门类的综合性大学。作为研究型大学，同济大学是首批被国务院批准成立研究生院的高校之一，同时也是国家“211工程”和“985工程”重点建设的高水平学府。但随着用户规模的扩大，类型的多样化，层次的差异化，高性能计算作为云计算主要的基础设施，其传统的使用模式已经不能完全满足用户日益增长的服务需求，并制约了云服务质量的提高。

据介绍，在传统高性能计算中，所有的服务都运行在高性能计算机服务结点上，导致了结点负载过大，容易出现瘫痪，从而影响用户的正常使用。另外，在这种开放共享的运行环境下，无法满足不同用户的差异化环境设置需求与用户资源颗粒度使用的需求，也无法保障用户信息的安全。另外，由于软硬件的部署和操作都很复杂，针对个体需求搭建完成之后，几乎不具备重复使用的能力，造成了极大的人力和时间成本浪费，影响了其易用性和使用效率。

同济大学相关负责人表示：“正是因为这些难题的存在，我们的新一代高性能计算平台就应该更符合大数据环境下的工作流程，在设计、实施、管理中都必须提供足够的柔性，来满足不同应用的需要。在与不同的应用系统进行交互时，要提供足够的灵活性。而同济大学要建设的柔性大数据处理平台，需要具备可反复重构的硬件、软件，同时还需要对原有投入的IT资源进行整合，避免信息化投资的浪费。”

充分整合现有资源真正实现柔性建设标准

针对以上需求，曙光公司与负责承建工作的同济大学电信学院紧密合作，对现有资产和网络状况进行了多次研究分析。最终，同济大学使用了基于曙光公司为其构建的柔性处理平台。平台采用了分区方式，其应用将涵盖三个服务分区和一个共享存储中心，即网络信息服务、交通信息分析、医疗数据分析和存储中心。

本方案基于分区方式构建，全面整合了云计算平台和同济大学现有资产（IBM、Dell和HP服务器），其它分析节点和服务节点均采用曙光高效能服务器。其中集中存储系统采用曙光DS800-F20构建，该产品支持FC-SAN/IB-SAN两种架构，并采用双冗余的控制器，支持高效能8GbFC以及高带宽的20GbIB主机接口，稳定且高效。另外，服务器管理基于曙光在各个云计算中屡经考验的大规模集群管理系统Gridview，在稳定性与可用性方面表现突出。

为保证整个平台工作流程的通顺安全，Gridview在每个计算节点上实行四大逻辑层次，分别为：硬件信息采集层、资源整合共用平台层、核心模块层和服务交付层。四层逻辑有条不紊地对从各监控节点系统采集来的信息资源进行优先管理。信息通过采集层向上层提供资源信息时，数据信息被分类存储在数据库中，作为元数据向上层提供数据服务。各模块之间独立开发，共享整合的公用平台数据信息，可以对元数据进行自由裁剪，以适应模块开发的柔性需求。并且可以按照需求，增加新的模块到平台中，做到各模块之间的有效兼容，向用户提供统一的Web接口，实现对集群的管理和运维，将整合的资源信息以Portal形式表现，对历史数据进行分析，为用户提供统一的作业调度界面。

由于曙光公司采用了Hadoop技术搭建分析集群和集中存储系统，消除了资源孤岛，各结点能够按照业务强度均衡互联；同时，其独特的可伸缩性使平台能够随着数据膨胀而扩展，达到真正柔性计算平台标准。

大幅降低管理成本分区管理高性价最高

在解决方案部署之后，化解了原有IT平台存在的支撑能力不足、管理难度较大等诸多问题，同济大学的领导和各学科负责人对大数据柔性处理平台给予了高度评价。通过对应用效果进行总结，可以发现柔性处理平台带来很多具体层面的收益：

充分整合包括云平台、服务器在内的现有资源，全面保护了原有投资；

分布式搜索引擎架构采用分区形式，使得系统各个组件之间充分解耦，上层软件部署更加灵活，极大的方便科研用户进行各种系统的调整和部署；

针对不同组件采用分区管理，分区配置物理机和虚拟机资源，强调资源的优化配置，获得了极高的性价比；

数据网和业务网分离，这样就达到了数据通信和业务通信运行时互不影响的目标；

管理网通信负载较轻，管理操作依托数据网构建，实现全网统一管理，同时管理网不必在配置交换机等其他基础设备，降低了采购和管理成本。

同济大学项目负责人表示：“同曙光公司携手建立的大数据柔性处理平台，改变了信息化建设中的尴尬状况，增强了对更多新兴应用的支撑能力。其分区设计和应用实现了该平台的价值最大化，同时也为信息学科及其交叉学科研究领域提供了更高效灵活的应用流程。”

责编：王珂玥