NewSQL登堂入室 数据库厂商掘金行业大数据一提到大数据,很多人首先想到的是互联网公司,比如Google、百度、阿里巴巴等。互联网企业在大数据分析方面确实走在了业界前列,其光环也遮住了行业大数据的光芒。IDC以“4个V”来定义大数据:Volume代表更大容量,Variety代表数据种类多样化,Velocity代表更快的处理速度,Value意味着大数据能创造更多价值。 中国大数据厂商的机会 数据库市场成形于上个世纪80年代。在过去30多年中,全球数据库市场基本由美国厂商(其数据库产品主要以事物处理为主)垄断,不仅中国数据库厂商很难找到突破口,就连德国和日本的厂商也举步维艰。随着云计算、大数据的兴起,以处理分析类应用为主的新型数据库日益受到关注。大数据让中国数据库厂商找到了一个向传统数据库厂商发起挑战的机会。 2013年是大数据应用元年。据记者了解,中国的三大电信运营商、建行总行、邮储银行、华夏银行、中石油等单位都已经完成或将在今年上半年完成大数据的技术选型、产品测试和应用规划。武新向记者透露说:“我们的大数据库产品GBase 8a已经进入了上述这些项目的测试名单。” 在中国市场上,互联网大数据与行业大数据两个市场并存,且都有巨大的发展空间。互联网市场和以金融、电信等企业为代表的企业级市场其实是泾渭分明的两个市场。“互联网企业与商业企业对IT的需求大相径庭。”一位服务器厂商的负责人告诉记者。通常情况下,互联网企业都拥有一大批自己的研发人员,无论是硬件还是像大数据这类的软件都倾向于自己开发,而且对开源软件情有独钟。以南大通用为代表的中国数据库厂商,已经习惯了与商业企业打交道,并且专注于关系型数据库,因此很难在短时间内在互联网大数据市场上找到突破口。从另一个角度说,行业大数据市场本身规模足够大,可以给像南大通用这样的厂商大量的机会。 武新将行业大数据市场分成四类:经营类、管理类、监管类和专业类。以经营类为例,电信话单、金融票据、电力调度、智能电网等都属于以结构化数据为主的大数据应用。中国移动一个省的话单数据每年就要新增300TB。由此可见,行业大数据市场大有可为。 企业用户最挑剔的还是数据库的性能。区别于传统的数据处理,大数据分析的一个主要特征就是对数据进行实时处理。南大通用的GBase 8a大数据平台的定位是分析类应用和全数据处理,其最大的亮点就是具有高性能。GBase 8a之所以能够实现高性能,主要依靠两项技术:一是列存储数据库,二是新型的Shared Nothing+MPP架构技术。与行存储数据库不同,GBase 8a列存储数据库中表的每一列在物理上是分开进行存储的,每一列以数据包为单位进行组织,只有访问和查询到的列才产生I/O。因此,表的列数越多,GBase 8a列存储数据库的I/O效率越高,性能优势体现得越明显。此外,GBase 8a的MPP Cluster架构是最适合处理大数据的架构。与传统的Shared Disk架构相比,它具有更强的横向扩展能力和更高的性能,并且可以动态伸缩。 互联网大数据中90%以上的数据属于非结构化数据,而行业大数据还是以结构化数据处理为主。与那些从诞生之日起就不得不面临大数据挑战的互联网企业相比,传统企业现在面临的大数据压力更大,数据结构更复杂且多变。在行业大数据应用中,关系型数据库依然是主流,只是其技术内涵有了新的变化,列存储数据库、分布式计算等新技术开始得到广泛应用。 武新表示,从产品角度看,国产新型数据库与国外同类产品在技术上处于同一起跑线,而在成本、本地服务和方案定制化等方面比国外产品更具优势;从行业大势上看,“x86+Linux”架构与云计算逐渐被行业用户所接受,更多中国企业开始在本地寻找更具成本效益的解决方案,从而减少对国外产品的依赖;从信息安全、自主创新的角度看,国产大数据解决方案在政府行业的一些大项目中也越来越受到青睐。 相关链接 南大通用进行最大规模NewSQL集群方案演示 3月8日,南大通用在天津海泰绿色发展基地举办了“国产新型大数据平台开放日”活动。南大通用向客户及合作伙伴展示了其GBase 行业大数据大规模集群处理平台,并进行了多种经营分析业务场景演示,其中200TB行业数据处理方案演示尤为引人瞩目。这次演示共使用了80台中高端服务器、5台万兆交换机,横跨7个机柜。武新告诉记者,该测试平台无论从网络部署、测试复杂度还是数据量等方面衡量,都堪称国内规模最大的NewSQL集群环境。测试结果显示,该平台可支撑PB级的数据查询与分析,是应用于行业大数据分析的可靠平台。 责编:孟芳 ![]() 著作权声明:畅享网文章著作权分属畅享网、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。 |
最新文章
|