Power构建最佳大数据平台

来源：畅享网作者：汪允璋

2014/4/29 8:54:42

大数据有几个特点，一个是它的包容，体量特别大，第二个是它的种类特别多。我们在日常遇到的大数据大概有这么几类，一个是静态大数据，还有一个大数据是时时大数据，我们可以利用一些GPS的定位信息，这个对信息的时效性就要求的特别高一些。另外一种是我们传统的企业的数据库。

分享到：新浪微博腾讯微博

本文关键字： Power 大数据平台

关于静态大数据的解决方案，我简单的介绍一下构成，首先是基于我们的平台，实际上是基于我们Power的小型机上面，来运行我们的一个操作系统，当然所有的解决方案不仅仅是一个硬件。上面用到了我们的文化间，这个GPFS是一个非常强大的产品，可以跨大型机，开源就用这个GPFS，上面关于大数据的处理有三个方案，第一个就是Symphony，它是偏高性能计算的方案。第二种是我们的Watson的系统，它是基于开源的改良，增加了好多的企业特性，包括我们的流程管理和安全管理，最后就是我们的开源这块。

我们之所以说用Power是最好的，用Power构建大数据的方案，第一个是Power的处理能力，大家可能用了很多我们Power的这种极力，它的处理能力包括吞吐能力都有很高的性能上的优势。另外一个GPFS性能的优化，相比也有很多的优势。这是我们在大数据过程中一个公开的设施的结果。

它的处理能够是线性的在网上扩展，这个对我们来说也是很有意义的，不能说我加了什么，处理能力要降低，这个并没有问题。

这个是我们的数据处理，一个客户可能办了3G的业务，但是这个用户发现他并没有把用起来，这个时候经销商就发个短信，告诉他你如果接下来的一天用100兆的话，我就送你多少，这个是基于一个时时判断的结果。这个是我们一个解决方案，实际上它底下也是基于我们Power，有很好的水平扩展的平台，下面是安大略的一个案例，这个数据量很大的，这个对平台的时时处理也提出了很高的要求。

这个是大家最熟悉的，我们IBM最抢手的一块，现在企业的企业通常都会在最核心的地方来构建它的数据库和最核心的集群，一般都是两个机器加一个存储，这种方案当然有它的好处，会非常的稳定，当然它对机器的要求特别高，我们都是用Power的高端的机器来构建。它的关键就是我们核心的处理，包括存储，它的要求特别高。如果我的处理能力不够的话，我的机器已经扩展到头的话，你这个时候就没有扩充的余地了，所以我们就相对于有一些扩展的方案。大家都是共享磁盘，所有的计算节点要提供一个统一的数据库。第二个方案我们是分析数据库的特性，并不是共享的架构。但是这种方案是有自己共享的磁盘的，每个处理都有自己的硬件和基础，在数据仓库的场合就非常的适合，因为我们的任务可以并行的在多个机器之间查询，性能提高了，同时不会影响我机器查询的功能。

责编：李玉琴