|
|
大数据是个死胖子？大数据的大不仅仅体现在数据记录的行数多，更体现在字段变量的列数多，这就为分析多因素之间的关联性带来了难度。 本文关键字： 大数据 近年来，有关大数据的热点话题一浪高过一浪，关注大数据应用的人也越来越多。总体来说，人们对大数据的前景持乐观态度，比如谈到大数据的技术特征，人们最容易想起的就是4个“v”：vast（数量庞大）、variety（种类繁多）、velocity（增长迅速）和value（总价值高）。这些都没错，但仔细一想，它们都是偏重说明大数据的正面优势的。但其实，大也有大的难处，大数据也不可避免地存在着一些负面劣势。这些负面劣势可以概括四点： inflated--大数据是肥胖的。大数据的大不仅仅体现在数据记录的行数多，更体现在字段变量的列数多，这就为分析多因素之间的关联性带来了难度。哪怕是最简单的方差分析，计算一两个还行，计算一两百个就让人望而生畏了。 unstructured--大数据是非结构化的。大数据的结构也是非常复杂的，既包括像交易额、时间等连续型变量，像性别、工作类型等离散型变量这样传统的结构化数据，更增添了如文本、社会关系网络，乃至语音、图像等大量新兴的非结构化数据，而这些非结构化数据蕴含的信息量往往更加巨大，但分析手段却略显单薄。 incomplete--大数据是残缺的。在现实的世界里，由于用户登记的信息不全、计算机数据存储的错误等种种原因，数据缺失是常见的现象。在大数据的场景下，数据缺失更是家常便饭，这就为后期的分析与建模质量增加了不确定的风险。 abnormal--大数据是异常的。大数据里还有不少异常值（outlier）。比如某些连续型变量（如一个短期时间内的交易金额）的取值太大，某些离散型变量（如某个被选购的产品名称）里的某个水平值出现的次数太少，等等。如果不删除，很可能干扰模型系数的计算和评估；如果直接删除，又觉得缺乏说服力，容易引起他人的质疑。这使得分析人员落到了一个进退两难的境地。 利用大数据的分析，已经可以预见和分析出很多当下时代的大趋势了。但是，数据的真实性如何保证？ 如果没有全面、客观认识大数据的过程，即便得到很多可预见的数据，又有几分准确性？ 想要真正运用好大数据，并不是一项在常规条件下数据分析的简单升级，而是一项需要大智慧的综合工作。 责编：李玉琴  微信扫一扫实时了解行业动态 著作权声明：畅享网文章著作权分属畅享网、网友和合作伙伴，部分非原创文章作者信息可能有所缺失，如需补充或修改请与我们联系，工作人员会在1个工作日内配合处理。 |
最新专题 |
《存储前沿趋势开讲啦》第一季 .为大数据再造存..
华赛存储培训：第三章_raid技术_v2.0.ppt|
|
