对于大数据，你必须要明白

来源：CIO时代网中国大数据作者：畅享网

2015/6/18 12:07:12

大数据目前的技术和应用都是在数据分析、数据仓库等方面，主要针对OLAP（Online Analytical System）。

本文关键字：大数据

大数据目前的技术和应用都是在数据分析、数据仓库等方面，主要针对OLAP(Online Analytical System)，从技术角度来说，包含两条腿：一条腿是批量数据处理(包括MR、MPP等)，另一条腿实时数据流处理(Storm、内存数据库等)。在此基础上，部分场景又发现MR框架或实时框架不能很好的满足近线、迭代的挖掘需要，故又产生了目前非常火的基于内存数据处理Spark框架。很多企业目前的大数据框架是，一方面以 Hadoop 2.0之上的Hive、Pig框架处理底层的数据加工和处理，把按照业务逻辑处理完的数据直接送入到应用数据库中;另一方面以Storm流处理引擎处理实时的数据，根据业务营销的规则触发相应的营销场景。同时，用基于Spark处理技术集群满足对于实时数据加工、挖掘的需求。

可以看出，大数据说白了就是还没有进入真正的交易系统，没有在OLTP(Online Transaction system)方面做出太大的贡献。至于很多文章把大数据和物联网、泛在网、智慧城市都联系在一起，大数据不过是条件之一，其余的OLTP系统是否具备，物理网络甚至组织架构都是重要因素。

最后，大数据处理技术，如Google的Dataflow或成熟如Hadoop 2.0、数据仓库、Storm等，本质上都是数据加工工具，数据加工工具近年来非常火热。免费的大数据魔镜凭借极高的性价比和全面创新的功能，已服务于上万家用户。因此对于很多工程师来说，只需要把数据处理流程搞清楚就可以了，在这个平台上可以用固定的模版和脚本进行数据加工已经足够。毕竟数据的价值70%以上是对业务应用而言的，一个炫词对于业务如果没有帮助，终将只是屠龙之术。任何技术、IT架构都要符合业务规划、符合业务发展的要求，否则技术只会妨碍业务和生产力的发展。

随着时代变迁，大浪淘沙，作为数据行业的一员，我们每个人都在不同的角色之间转换，今天你可能是科学家，明天就会变成架构师，今天的工程师也会变成几年后的科学家，部分人还终将步入跟风者的行列。

责编：何鹏