新挑战 新技术 新产品——2011数据仓库市场盘点

数据仓库是面向决策分析的数据库，数据仓库将来自于各种数据源的数据，根据不同的主题进行存储，并对原始数据进行抽取、转换和加载等一系列筛选和清理工作。一个完整的BI应用通常涉及数据仓库引擎及其相关的设计建模工具、ETL工具和前端展现工具等。数据仓库引擎是BI中的核心，它的性能高低直接决定了BI的表现。

在数据仓库市场，近年来并购一直在不间断地进行着。IBM收购了Netezza，EMC收购了 Greenplum，SAP和Sybase两家公司完成了合并，Oracle收购了SUN，微软收购了DATAllegro。在现有的企业级数据仓库工具厂商中，Teradata、IBM/Netezza、Oracle/Exadata、Microsoft、SAP/SYBASE都发布了新的数据仓库设备产品。企业级数据仓库工具市场竞争已经趋于白热化。

新挑战

纵览最近几年数据仓库的发展，数据仓库领域存在的一些新挑战已经得到了大家的普遍认可。

1、 大数据时代及非结构化数据的处理

IDC研究报告称未来十年全球大数据将增加50倍，数据仓库面临的最大挑战就是爆炸式增长的数据量。新兴的数据类型层出不穷，更多的业务提出了实时需求，而向这部分业务提供的数据缺乏足够的敏捷性，数据仓库在业务运营以及决策支持方面显现出"疲态"，快速处理大数据成为每一个企业急需解决的难题。

另一方面，越来越多的企业从社交媒体信息中发现了价值，希望可以充分利用好这一部分价值，这也是数据仓库工具需要考虑的。包括社交媒体信息在内的所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等非结构化数据的存储和分析也是数据仓库所需要面对的问题。为满足这些需求，数据仓库工具需要纳入非结构化数据源，融合数据库内的数据挖掘和文本分析，建立混合存储的体系结构，增加内存执行、分布式缓存、复杂事件处理、固态硬盘、地理数据集以及丰富的元数据等。

2、 实时ETL的挑战

对于企业级数据仓库而言，从繁杂的数据源进行提取、转换和加载(ETL)操作是另一个挑战，特别是实时的ETL操作。因为大多数ETL工具都是基于批处理模式的，一个传统的批量处理的提取、转换与加载（ETL）的过程需要四个小时或更多的时间来完成。这就给数据仓库提出这样的要求：在给定的时间内移动必要的数据量，例如，让业务交易后一个小时，甚至几分钟到几秒钟后就得到数据。

另一方面，由于OLAP和查询工具在设计上都是是针对那些非实时变化数据的，所以实时操作可能会导致数据不一致的结果，无法保证数据质量。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友