浅谈大数据！

借用三体中一句名言“给岁月以文明，而非给文明以岁月”大数据的本质，不是将生命献给数据，而是给数据以生命。大数据不是一套routine,不应限制了你思考的方向，哪里数据多就分析哪里，而应是内化的一套价值观及处事方式，用以对抗无常。

科学的进步，商业的发展，得益于数据所统领的疆域的扩展，随着之前越来越不可量化的变得可以计量，但这并不是要我们的丢弃直觉，忽视心智模式的作用，大数据带领我们关注用户购买了什么，也要求我们关注用户没有购买什么，并从用会的行为推测出用户为什么没有购买，亚马逊会根据你点击而未曾购买的记录给你推出个性化的deal，大数据要求我们了解整个行业的趋势，更要求关注每一人个性化的需求，Netflix不止靠大数据拍出《纸牌屋》，还将无数的小众电影准确的推荐给了用户。而你的关注点，应该是能将数据统合的那根线，能使数据产生整体大于局部之和的上层结构。这里的关注点，说的是数据分析前的需求分析，你需要这些数据做什么，你对数据的直觉反应是否可以通过这些数据进行完整全面的验证，没有回答好这些问题，拥有再多的数据也不过是一堆数字，一如果组排列整齐的感光器，而不是一个能分别美丑的眼眸。

数据的扩大不会必然带来视野和格局的扩大，一个朋友说起她分析"降关税"的感悟，她说道，如果逗留在税率本身，思路变死，只能接受竞争对手增多局面;如果挖掘到贸易自由化层面，格局变大，处处即是机遇;格局大小，决定对策，大格局涵盖小格局，小格局看上去不可思议，在大格局下都显得理所当然，她在bloomberge数据端倒弄半小时之后，意识到，相比这些数据库，wind都弱爆了。仅仅有国际化视野是不够的，更需要有国际化数据。而数据来源一旦多元，就一定要有去伪存真的步骤，去除重复，剔除噪音，清洗缺失值，使数据做的同步，准确，完整。这是当前数据处理中最耗时的步骤，而如何避免在数据清洗时过度补偿，如何避免丢弃过多有用数据，则是最需要智慧的。

大数据不是指数据量的大，也不是指数据来源的广(数据的维数大)，而是指数据间的关系复杂(复杂网络的涌现)，数据中既包含有用的信号，也包含无用的噪音。但不同维度的数据可以互相验证，互为因果，从而带来数据间的有序性。数据在不断的变化中，而变化的趋势又受制于你观察数据之外的环境因素，这环境因素具有自我指称的特性，也许数据之所以变化，就是因为你观察数据这一行为造成的。有序性就是负熵，就满足薛定谔说的生命的特征。

若你能知道何时需要收集数据，何时收集的足够的数据足够做决策了，那么你就孕育了一组数据，如果你能坚持不懈的更新数据，不放过数据间的细微变化，你就养育了一组数据，如果你能让你的数据与大千世界中那些鱼龙混杂的数据对上号，然后会心一笑，或是发现不同维度的数据带来了不同的结论，然后追根追底，那么你的数据就通过成人礼，如果你能及时的发现你拥有的数据已发生了Bifurcation，不可能通过小修小补来描述现实，那么你就可以安排这组数据的葬礼。你若有这样的态度，不论你的数据量有多大，处理数据的模型有多简单，你都拥有了大数据的灵魂。若是你只知道管中窥豹，以偏概全，如盲人摸象一般，那么数据量，数据维数，数据处理能力的增长只能同比扩大你的知识与谬误。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友