NewSQL登堂入室 数据库厂商掘金行业大数据

一提到大数据，很多人首先想到的是互联网公司，比如Google、百度、阿里巴巴等。互联网企业在大数据分析方面确实走在了业界前列，其光环也遮住了行业大数据的光芒。IDC以“4个V”来定义大数据：Volume代表更大容量，Variety代表数据种类多样化，Velocity代表更快的处理速度，Value意味着大数据能创造更多价值。天津南大通用数据技术有限公司(以下简称南大通用)首席技术官武新表示，如果按“4V”的标准来衡量，行业大数据与互联网大数据在数据量、数据种类和数据处理速度方面处于同一级别，惟一的不同是行业大数据比互联网大数据的数据价值密度更高。因此，行业大数据给数据库厂商带来的商业机会也多于互联网大数据。

数据库三分天下

如果回溯数据处理架构变革的源头，那么就要从美国著名数据库科学家迈克尔·斯通布雷克(Michael Stonebraker)的一篇论文说起。迈克尔·斯通布雷克在论文中指出，行业技术的发展趋势是由一种架构支持所有应用转变为用多种架构支持多类应用。在大数据和云计算的背景下，这一理论导致了数据库市场的大裂变：数据库市场分化为三大阵营，包括OldSQL(传统数据库)、NewSQL(新型数据库)和NoSQL(非关系型数据库)。

从技术角度看，OldSQL的典型特征是行存储、关系型和SMP(对称多处理架构)。OldSQL的代表产品包括TimesTen、Altibase、SolidDB和Exadata等。OldSQL所代表的传统关系型数据库已经不能满足大数据对大容量、高性能和多数据类型的处理要求。为了更好地满足云计算和大数据的需求，NewSQL和NoSQL脱颖而出，并且大有后来者居上的架式。

NoSQL的技术主要源于互联网公司，如Google、Yahoo、Amazon、Facebook等。NoSQL产品普遍采用了Key-Value、MapReduce、MPP(大规模并行处理)等核心技术。在互联网大数据应用中，NoSQL占据了主导地位。

武新认为，NewSQL数据库具有极高的商业价值，必将成为一个主流的数据库产品类别。“在大数据需求的推动下，数据库行业正处于技术变革的转折点。在全球范围内，至少有30家新兴的数据库厂商和大约50款新产品涌入市场，传统的由几家数据库厂商垄断市场的局面终将被打破。”武新表示，“NewSQL在保持关系模型的基础上，对存储结构、计算架构和内存使用等核心技术进行了创新。未来，NewSQL和NoSQL将改变OldSQL一种架构服务于所有应用的局面，三类产品将各自拥有适用的应用类型和客户群。”

用户对高处理性能的强烈需求推动了数据库行业的创新。为了进一步提升产品的性能，NewSQL、NoSQL和OldSQL三大阵营的厂商都不同程度地采用了一些新技术，比如分布式计算、分布式文件系统、内存计算技术等，同时积极采用一些新的硬件，包括大内存、闪存和高速网络连接技术(万兆以太网和InfiniBand)。相比之下，NoSQL和NewSQL在技术上的改进更能满足大数据的需求，比如NewSQL产品普遍采用了列存储技术，而NoSQL产品普遍采用了Key-Value技术。武新介绍说：“NoSQL和NewSQL在处理海量数据时都表现出了较强的扩展能力。NoSQL的主要优势体现在对非结构化数据的处理上，而NewSQL对于全数据格式的支持正日趋成熟。此外，NewSQL在实时性、复杂分析、即时查询和可开发性等方面也比NoSQL更具优势。”

传统的关系型数据库不易扩展，也不能实现并行处理，因此在处理海量数据时显得有些捉襟见肘。在行业大数据应用中，像南大通用GBase 8a这样的分析型数据管理系统将替代传统的数据库。当前，大量的公有云数据库都是基于NoSQL技术构建的，例如Hbase、Bigtable等。这些产品的非线性、分布式、横向扩展等技术特点非常适合互联网行业的云计算和大数据处理，但是应用类型相对简单。行业大数据应用要求数据库具有复杂数据的多表关联分析能力，可以在任何情况下保证数据的一致性，同时还要易于使用。这种需求直接推动了基于云架构的新型数据库技术的发展。这种新型的数据库在传统数据库的基础上采用了Shared-Nothing集群，提高了系统的伸缩性，其代表产品包括EMC Greenplum、HP Vertica和南大通用的GBase 8a MPP Cluster等。

武新对数据库未来的发展趋势进行了预测：对全数据类型提供更好的支持，采用更大规模的MPP和数据管理集群技术，实现跨平台融合，大数据一体机将流行。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友