综合

最近看到几则公司收购的新闻，和数据质量厂商有关系。当然是国外的，国内几乎没有专门做数据质量这块业务的。在2005年六月，Gartner曾经做过一个数据质量管理软件厂商的市场分析，列出主要几家，如Dataflux、Firstlogic、IBM和Trillium，这算不错的几家，还有Group1、Innovative和Similarity等，算次一等的。其中IB……

西宁提出想搞一个"数据管理平台"，当然核心的功能是数据质量的管理。所谓平台，想象成一个桌子，上面可以放置不同的东西；或者是舞台，我搭台子你唱戏。他起到一种支撑作用，是一种基础设施。而一个平台性的东西，似乎也是要夸垂直行业的，无论是电信还是银行、税务还是能源，都可以用。而既然核心功能放在数据质量，也就是能够对业务各个系统，诸如生产系统、客服……

晚上在床上翻看这本卓望通讯，其中一篇王煜全的文章勾起了我的兴趣。2004年我们做中国联通经营分析系统规范2期的时候曾经合作过，当时王先生提出了对经营分析很多很好的建议，特别是关于产品推广的口碑效应的分析印象颇深，后来因为技术原因没有在规范中体现。今天看这篇文章也有一个疑问：SP生态环境和价值链的重要性显而易见、重视现有客户的服务效果远好于挽留即将离王的客户、……

丁西宁20060125今天终于开始向数据挖掘进军了。为了今天可以说做了很多的准备，这也许和我做事的风格有关。在对数据仓库进行了必要的学习和实践后，得出一个结论：不能为客户带来真正的商业效益的BI是没有任何价值的，没有数据挖掘的BI就不是真正的BI。都说学习数据挖掘需要很深的统计学、数学、会计学等理论基础，我现在没有，不过是骡子是马还是拉出来看看吧！上路了先！……

前段时间太忙，老板开恩，提前放假了。对自己说，利用这个时间好好想想数据质量的问题吧，节后就会用上。想想我们以前如何调试程序吧？比如用java实现个算法。算法可能要包括一些变量，保存中间的过程数据；有输入参数，用来让其他人调用；有输出参数，调用后实际的结果。如果按照面向对象方法来设计，算法会被设计成一个对象，与其他对象一起来完成某种服务，这就是现在流行的SOA……

大量的报表，在生成后，是怎样进行数据测试的呢？你必须要保证每一项数据都是正确的，而且在多个有关联的报表间，你要能找到对应的数据，并且保证其一致，比如说，你在A报表里统计了兴庆区一室一厅房型的面积，那么在x,y,z报表里，这个面积都应一致，一个小数位都不应变。我目前是这样做测试的，一张表抽几个数据，用SQL语句在库里具有针对性的检索一下，如果OK，再加一下百分……

个人谈一点看法，如果有用大家可以试试，没用大家但故事看看拉倒。首先是鸭鸭的问题具有典型代表性，在政府的数据分析项目中，原始数据来自手工单据的情况很常见，另外，市场调查公司的问卷资料绝大多数也是纸张存储媒介。尽管我们看到电信和银行的数据大部分都是电子数据，但我们日常生活中，更多的数据还是存储在纸上的。我们姑且录入过程当作把数据从纸张存储媒介转移到磁盘存储媒介上……

我是做房产方面的数据分析。BI谈不上，目前只能算是报表吧。我目前所在的公司承接今年银川市房屋普查的数据处理工作，目前已经接近结项，数据处理经过了一个长长的路，有一些心得和尚存的疑惑。普查数据录入的前提是：严格遵守原表，录入错误不得超过万分之三。第一，因为以前没有做过此类的手工普查资料录入的事情，在试点数据录入设计时错误地估计了原始材料的质量，结果，录入过程中……

今天的话题要谈谈dqfw框架的应用，这已经考虑很久了。月初的时候，西宁兄就提出，如何将数据质量框架实际地应用到项目当中去，那个理论的框架，虽然定义了一系列指标和最后的质量报告，总觉得不具操作性。上周在和王璟吃饭时，大多谈论的就是这个话题，他们的项目已经被数据质量问题困扰。因此，在边吃边探讨的过程中，逐渐厘清了一点头绪。元数据——总结出……

项目一期一期地建，可衡量标准仍然是模糊的。这是上次回北京，和王璟交流他们项目时的一点感触。他们金融行业的经营分析系统也是从一期走到二期，一期主要的目标，是做数据整合和单一客户视图。后者是一种应用，还是比较容易明确地度量，而前者是一种后者的支撑，相当于基础设施了。它可以用于单一客户视图，也可以用作其他诸如报表、贷款风险分析等应用的支撑。如何度量？不能度量，也就……

2005年是BI领域惨淡经营的一年，最近几个朋友聊天的时候，言语中透出着不经意的无奈，“唉！你说，咋就没项目呢？”咋没项目？要说，其实还是有一些项目的，只不过不象前两年那样移动联通上经营分析的时候那般火爆而已，发感慨的朋友都是在电信圈里混饭吃的，而一般说到“电信圈”默认的含义是给几个运营商做项目的，难怪没项目呢……

发现数据质量这个词从不同人的口中里出来，其实有着不同的含义。例如有的一提到数据质量，就说客户数据如何无意义，常常是地址、证件号码这类信息是否有效。而在这里谈论的数据质量问题，常指从数据从数据源，长途跋涉到最终报表、cube、分析应用的过程中，数据是否一致，转换的规则是否正确，因此需要一套质量体系来监控这个过程。这是客户需求决定的，因为在保证客户资料的有效性方……

前几天受到阿龙的批评——比喻说多了不好。比喻确实容易被滥用，也很容易误导人，让人忽视事物的本质。但比喻又确实是一种能够让人很快接受一个新概念的手段。对于元数据这个话题，上个月得出一个简单的"元数据内容模型"。提到"Data about Data"这个定义中两个Data的区别，还想再打个比方，希望……

模型设计 -> 大厦的设计图纸数据 -> 砖瓦、材料实施人员 -> 施工队ETL -> 建造大厦的过程BI TOOLS -> 装修Data Ming ->精装修DW -> 大厦业务人员 -> 业主客户IT部门 ->小区务业格式上有点乱..大家看时,仔细区分一下..另:经与刘庆的讨论,觉得...BI TOO……

数据仓库能够支持报表和分析，以至于不少人认为数据仓库就是报表系统。由此也引发一个问题，数据仓库有了，在上面能进行什么应用的开发？我看可以分成如下几种类型：1. 固定报表。与通常理解的报表系统没有太大差别，只不过数据源来自数据仓库。比之前的报表系统有了较大进步，是因为原来的报表系统数据或者只来自一个系统，或干脆是经过人工填报而出，这样的系统数据来自真实的、唯一……