大数据有大价值谁能把金子从数据金沙中淘出来

来源：中国经济网

2012/7/18 14:15:15

2011年10月咨询公司麦肯锡发布题为《大数据的下一个前沿：创新、竞争和生产力》的报告，指出数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。

本文关键字：数据挖掘

1998年初，时任美国副总统戈尔发表了《数字地球——认识二十一世纪的地球》，文中指出大量的数据并没有得到充分处理，更没有得到充分的使用。“我们需要一个‘数字地球’，这是一个高分辨率三维空间的数据星球，与地球有关的庞大数据(几十亿亿字节)都可以存储在里面”。

在文中，戈尔指出，建造数字地球需要大量的技术配合，如计算机科学、大容量储存技术、卫星遥测技术、宽频带网络技术、网络的可兼容性、超数据技术等。现在看来这位向来为美国信息工程摇旗呐喊的领头羊，开始让自己的“数字地球梦想成真。与之并肩的是，以美国为首的互联网革命兴起，带来了全球互联网经济的热潮，21世纪第一个十年属于互联网。这样的局面似乎有点出乎戈尔的意料，14年前的他大概也想象不到几十亿亿字节(相当于几十亿GB)的数据在今天已经不是最大的数据极值。

时过境迁，“数字地球”的概念再度来到台前。一篇名为《新一代数字地球》的文章发表在6月21日出版的《美国国家科学院院刊》上。由中国科学院遥感学家郭华东等共同撰写的这篇论文对数字地球科学领域取得的进展与数字地球内涵进行了解释，并分析数字地球未来的前景。学界普遍认为这是1998年以来数字地球发展的里程碑式论文，与戈尔的文章遥相呼应，跨域十年而形成对话关系。而这一概念的重提，则基于信息技术与信息需求的双重推动，是大数据和数据密集型科学的问世加速了数字地球进程。如今，数字地理信息领域已发生了深刻变化，技术进步使得数字地球可视化及可操作化成为可能，但同时对数据的高效利用、信息的准确表达、预测模型的发展、多种“可视”技术的应用都提出新的要求。

数据之“大”

社交媒体的兴起、数字传感器的应用以及移动设备终端的普及，带来了各种数据海量般快速产生，也使大数据时代从理论快速走向现实。目前，全球企业的数据量每年以55%的速度增长，现在只需两天的时间就能产生过去有人类文明以来的所有数据总量。

数据量的爆炸式增长，已成共识，而如何才是大数据，怎样定义大数据，业界并无统一看法。中国软件网总经理曹开彬此前对新浪科技表示，大数据其实是一种在互联网时代或信息时代的企业现象，在这样的时代，任何一个企业，尤其是大型企业和互联网企业，会在经营过程中产生大量的、各种各样的数据。它有几个典型特征：数据量大、数据类型复杂、处理速度要快。

维基百科上有人对大数据的获取与处理方式提出了更高的标准：“数据增长如此之快，以至于难以使用现有的数据库管理工具来驾驭。”

大数据的特征可以归纳为4个V——Volume，Variety，Value，Velocity，即体量巨大，类型繁多，价值密度低，处理速度快。

IBM全球副总裁兼大中华区软件集团总经理胡世忠向媒体表示，现在谈大数据和当初谈云计算的时候差不多，很多人在关注、在探讨，虽然对大数据时代的特点和发展走向看法不一，但没有人否认大数据时代已经到来。

IBM全球CEO弗吉尼亚？罗睿兰说，数据将是下一个大的自然资源，将会区分每个行业的胜者与输家。

数据≠信息

Facebook这个拥有庞大网络用户数据的新公司，在5月18日的IPO却被“数据”了一把。在上市当天，全球机构频繁更改Facebook走势的预测结果，却最终敌不过Twitter的准确率。

数据分析领域新星DataSift监测了社交媒体平台Twitter在5月18日的情绪变化与Facebook股价波动，并发现了两者之间的关联性。在Facebook开盘前，Twitter上网民的情绪逐渐转向负面，25分钟之后，Facebook的股价出现下跌；而当Twitter上的情感转向正面时，8分钟之后，Facebook股价开始反弹。最终，当股市接近收盘时，Twitter上的情感转向负面，Facebook的股价又开始下跌。

这并不是DataSift的首创，此前已有根据网民意愿监测结果选择股票买卖的案例。在海量数据中发掘有效信息，将成为企业竞争力的关键。

索尼公司的教训似乎也能反证出数据的重要性。根据索尼的公告，2011财年(截至2012年3月31日)预计净亏损5200亿日元(约合64亿美元)，创公司成立以来最高亏损纪录。索尼公司前首席执行官出井伸之说，新一代基于互联网基因的企业的核心能力，是利用新模式和新技术，更贴近消费者，更深刻理解需求，高效分析信息并作出判断，而像索尼这样传统的产品公司，仅仅只是在自己营造的理想国里造产品，无视用户数据的反馈和分析，最终只能沦为二三流公司。

更多的公司和机构已经意识到大数据的重要性。华大基因研究院是一家致力于生命科学研究的生物科技公司，曾经承担过国际人类单体型图计划(10%)、水稻基因组计划、家蚕基因组计划、家鸡基因组计划、抗SARS研究等重大科研课题。华大基因研究院院长汪建向本刊记者透露，华大有一支专业的团队致力于数据库建设和基于Web应用开发。最早人类基因测序需要一年的时间，费用也以百万美元计。汪建的目标是让越来越多的人有能力为基因测序付费，从而将疾病的隐患发现在根源，提高生命的质量。而费用降低的前提是基因测序的计算水平的提升与数据分析能力的完善。

深圳光启高等理工研究院院长刘若鹏告诉本刊记者，2012年光启开启了超材料产业元年。光启的首款超材料产品——卫星接收薄膜板的中试线已经投产。超材料从十年前的科学理论概念到初步应用，依靠的是以亿为单位的大规模的数据计算与分析能力。

麦肯锡全球研究机构在2011年5月发布的《大数据：创新、竞争和生产力的下一个前沿领域》中提出，充分利用大数据可帮助全球个人定位服务提供商增加1000亿美元的收入、帮助欧洲公共部门的管理每年提升2500亿美元产值、帮助美国医疗保健行业每年提升3000亿美元产值，并可帮助美国零售业获得60%以上的净利润增长。

不仅仅是商业机构发现大数据中的大生意，政府部门同样需要大数据来完善公共服务。美国最大的数据库之一——NOAA海啸研究中心，曾经在日本311之后公开表态：“虽然预警系统发挥了很大价值，但是还没有快到足以帮助到日本仙台沿海的居民及时躲避海啸”。如果更够获得更多的数据和更强的分析能力，海啸的预警可以在更短的时间内发现并发出，避免人员伤亡。

IT业的机会

宝德科技集团副总裁丘文桂在接受本刊记者采访时表示，“大数据时代已经以不可阻挡之势到来，未来的十年将是一个‘大数据’引领的智慧科技的时代。在Web2.0时代，大数据应该是以个人为核心，围绕人的关系生产、交换信息，从而产生的巨大信息爆炸，数据不再以几个GB或几个TB为单位来衡量，而是以PB(1000个T)、EB(一百万个T)或ZB(10亿个T)为计量单位，也非以前的结构化数据，而是以文本、图片、音频/视频等非结构化数据为主。”

IT界的大佬已经意识到大数据是未来世界的新蓝海。

2010年，EMC收购大数据公司Greenplum，并推出“数据星球”战略。

2011年，惠普耗费104亿美元收购英国软件公司Automony，专注从事语义分析，意在扩大商业分析软件的市场份额。Autonomy也不负众望，拥有通过独有的算法提取出非结构化信息中含义的技术。

2011年，Teradata先后收购了云计算软件公司Aprimo及高级分析和管理各种非结构化数据领域的AsterData公司。

5月8日，Aprimo收购了基于云的数字营销欧洲厂商eCircle。

率先从PC中脱身转而专注企业级用户市场的IBM，过去五年中完成了20多笔与数据分析相关的收购业务。就在2010年，这个蓝巨人先后收购了从事数据库分析的Netezza公司和提供网络分析软件的Coremetrics。

胡世忠透露，从2005年至今，IBM已收购了28家公司，并不断拓展其生态系统。生态系统的逐步完善，带来了商务分析业务的快速增长。据IBM预计，到2015年，IBM商务分析业务的收入有望达到160亿美元。

国外打得热闹，国内的IT企业不甘示弱。宝德科技集团副总裁丘文桂说：“近两年来，包括存储厂商和软件厂商，在追捧‘大数据’的概念。宝德一直在关注业界的发展动态。为了应对“大数据”的到来，宝德在云存储管理系统和BI数据挖掘与优化和大数据块存储等方面下了打功夫。宝德旗下宝软与华东理工大学在云存储平台和物联网技术方面结成产学研联盟，针对相关技术难点课题，利用高校雄厚的研究人才储备，开展紧密合作，建立宝德特有的数据管理技术优势。同时宝德也在寻找市场上大数据分析领域的优秀公司和团队，准备开展投资合作甚至是产业收购，进一步加强并拓展宝德在大数据市场的能力。”

对善于发现市场机遇和开拓企业市场的IT企业来说，大数据是一座新的待挖“金矿”，也许，是一个新时代。

营销魔法

凡客诚品仅用了4年时间便站在行业的金字塔尖。它的迅速崛起被电商同行与媒体做出了各种解读，病毒式营销、广告轰炸、29块钱纯棉T恤，也有人将其称为一次搅混水的胡来。不过，凡客诚品更重要的一次举措是2011年提出实现互联网的系统化和数字化的管理，成立数据中心。CEO陈年对《商业价值》杂志记者表示，“现在的凡客是一家数据公司。”

数据中心从最简单的库存数量监控到流程管理，再到数据之间的配合与管理，从数据关联研究中发掘用户需求与偏好，实现数字营销。

宝德科技集团副总裁丘文桂告诉本刊记者：“大数据本身并没有什么价值，基于大数据的处理和分析才能为企业带来巨大的商业附加值。面对激烈的市场竞争，越来越多的企业逐渐意识到数据已经成为新的生产资料，拥有数据并正确使用数据将会成为企业成功的核心竞争力，大数据如何转化为财富将成为大数据时代一个持久的研究课题，成为一种基本上与资本及劳动力一样重要的经济投入。”

耐克的数字营销比陈年更多了几分时尚气息。SOHO中国董事长潘石屹每天跑步之后，将自己的公里数与热量值发在微博上与粉丝分享。这个计算软件就是nike+。这仅仅是耐克数字营销的案例之一。NikeID业务允许消费者基于耐克的一些已有产品进行个性化的改造，选择自己喜欢的颜色搭配、面料，甚至绣上自己的名字缩写等，完成自己的设计后，Nike就能为消费者量身打造一款独一无二的运动鞋。在此过程中，数据的搜集、整理又为下一双运动鞋提供了参考。

种种迹象表明，消费品公司的营销方式在发生剧烈的改变。它们已经利用数据和顾客直接发生关系，掌握客户数据，准确把握消费者的需求，更有效地黏住他们。

制约因素

世界生产力的发展史就是一部科学发现、技术进步和产业突破的相互作用史。

非结构化数据的涌现与数据分析需求，将是大数据的重要契机。数据的体量与结构的改变，也意味着分析处理方式与技术的更张，采用传统的数据管理方式将被不会被市场认可。

宝德科技集团副总裁丘文桂表示，“大数据有大价值，但能否把金子从数据金沙中淘出来，有两点最关键：一是深刻的洞察力，对行业需求的理解，对行业发展趋势的预判；二是大数据挖掘技术与云计算平台上的实现。”

日立数据系统副总裁庄国光预计，5年以后大数据的发展趋势可能才会越来越利害。制约大数据发展的因素主要有两个：第一，能够发掘大数据的技术还没有成熟；第二，成本太高，做大数据的时候，存储应该非常便宜，虽然存储比很多年前便宜很多，但还是很高。

值得关注的是，奥巴马政府已经把“大数据”上升到了国家战略的层面。根据美国白宫今年3月29日新闻，奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”。希望增强收集海量数据、分析萃取信息的能力。这是1993年时任美国副总统戈尔宣布的“信息高速公路”计划后美国政府政策层面的一次“狂飙突进”，将“大数据”上升到国家意志，给下一个十年带来深远影响。

据麦肯锡旗下研究部门麦肯锡全球学会去年发布的一份报告显示，预计美国需要14万名到19万名拥有“深度分析”专长的工作者，以及150万名更加精通数据的经理人。

相比之下，中国政府的扶持政策显得更加暧昧。我国“十二五”长远规划中提出重点培育物联网产业，并设立了首批智慧城市，但并未提出大数据概念。不过，在物联网发展规划中提出“重点支持适用于物联网的海量信息存储和处理，以及数据挖掘、图像视频智能分析等技术的研究”，也算是对“大数据”的补充说明。

责编：赵宝锋