CIO大数据实践：大数据部署的三种方式

1 套装软件搭配自组硬件

目前包括Hadoop、Greenplum以及Aster Data都有纯软件产品以及软硬件整合的一体机产品，如果企业选择以纯软件产品，虽然具有可以自由搭配硬件的优势，但却也相对挑战企业的技术能力，因为软件的数据处理效能是否可以充分发挥，往往与所搭配的硬件规格、平台架构以及系统调校有关。

一般来说，企业在评估数据处理平台时，如果选择采用软件型态的解决方案，通常都具有强大的系统架构规画能力与维护能力。不过，台湾有家晶圆公司为了解决大数据问题，1年多前开始寻找各种软硬件的大数据解决方案，最后则决定以Hadoop搭配x86架构，作为发展大数据处理平台的主轴。然而，在第一阶段的概念验证结束后，这家晶圆厂商公司小规模试行，并且部署了10～20台服务器，却发现数据处理效能不如预期，理论上，以Hadoop架构可以几分钟完成的数据量，最后却花费了1小时，其中的关键在于企业IT人员对Hadoop技术的掌握能力不足，以致于造成MapReduce程式与HDFS、Linux相互争夺硬件资源，最后导致当机。

2 软硬件整合的一体机

相较于软件解决方案的技术门槛，以硬件形式推出的一体机，不仅同时具有软硬件整合的优势，更重要是，系统效能调校也已经做到最佳化，对于企业来说，采用一体机可以大幅节省部署大数据处理平台的时间，后续的维护也比较轻松，不过，一体机通常会配置比较贵的硬件，因此，成本效益的考量仍旧是企业必须斟酌的地方。

目前IBM、Teradata、惠普、甲骨文、精诚资讯Etu以及EMC都推出了大数据一体机产品。不过，各家厂商所采用的数据处理技术是否具有开放性，将是企业未来面临扩充时能否无痛转移的关键。以EMC的产品来说，虽然是采用MapReducer的理论来做分散运算，但储存技术是来自EMC的MapR File System，而非Hadoop的HDFS，因此，虽然可以横向扩充，但储存技术就必须依循EMC的发展。

各大数据厂商为了因应大数据需求，不可能沿用10年前就开始发展的数据处理架构，因此过去2年并购动作频频，IBM收购数据分析公司Netezza、惠普买下了即时分析平台Vertica、数据仓储厂商Teradata并购Aster Data、储存大厂EMC更接连收购数据仓储厂商Greenplum以及磁碟阵列厂商Isilon，这些数据大厂通过并购所取得的技术，目前都已经与既有产品线完成整合，同时并相继推出了一体机产品，例如：Teradata的Aster Data Appliance，预计未来还可看到更多有关一体机的产品。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友