文本分析深挖商业智能潜力

文本分析工具利用语言学、基于规则的自然语言处理、专门的算法和其他方法为分散在企业各个角落的非结构化文本带来秩序。越来越多的IT经理利用文本分析软件在不同的文档管理应用、电子邮件与电话系统、甚至博客

或网站中去挖掘信息。

而文本分析介入的目标是赋予静态BI报告新的生命。文本分析软件通过提取埋藏在文本中的事实、概念和数据关系，将这些非结构化信息转化为可以与BI数据库连接的规范化数据。BI数据常常表现为由数据仓库、ERP和CRM数据库等主要应用采集而来的预制报告。因此，文本分析可以增强BI数据的上下文和含义。

尽管功能强大，文本分析与BI组合还不具备代表性。Forrester Research的分析师Boris Evelson说：“就流程和用户界面而言，大多数人将BI与关注结构化数据的OLAP（联机分析处理）建立联系。但是，OLAP体验必须以用户透明的无缝方式把非结构化数据提供给分析技术才能变得更有效。”

Nucleus Research的公司分析师David O’Connell则指出，许多企业的CIO尽管花费了大量精力建设复杂的BI数据库，但他们发现，很多关键数据是以文本的形式深埋在企业不同角落的。O’Connell说：“在这些数据中，重要的是竞争、营销、销售活动和CRM趋势数据。但是，你只有通过实现分析自动化和将分析与BI相结合才能发现和跟踪这些趋势。通过将文本分析与传统BI应用紧密结合在一起，BI的价值增加了。同时，由于不需要什么数据净化，因此这一过程也不会特别昂贵。”

保险服务商BlueCross BlueShield of Tennessee（BCBS）就是一个享受到通过文本分析扩展BI好处的企业。BCBS成功地将这两项技术组合在一起，优化了对4类疾病高风险和低风险成员保险费用的分析。

BCBS首席数据设计师和数据资源与管理高级经理Frank Brooks说：“通过组合相关的结构化和非结构化数据，我们能够提供新的业务洞察力，实现新形式的分析，同时以增强型BI的形式向客户呈现可行信息。”

为BCBS系统提供动力的是Cognos公司的Cognos 8 BI Version 8.2以及两种文本分析工具：分别是SAS公司的Text Miner和IBM的Omni-Find Analytics Edition。两种文本分析工具在BCBS概念证明应用中发挥了重要的作用。Brooks说：“我们的应用证明利用已有结构化数据中的含义改变隐藏在非结构化数据中含义的威力。”

SAS Text Miner负责处理多种类型的文件，包括PDF、ASCII、HTML以及微软Word，利用单值分解技术将文本表示为数字。这些数字模型被打包保存在BI客户程序中，包括微软 Excel和SAS的许多BI产品。

IBM的文本分析软件主要基于UIMA（非结构化信息管理体系架构）。UIMA利用核心算法执行所需要的语言处理，把非结构化文本转换为可以与中间件和系统（例如经常运行企业BI应用的WebSphere Portal Server和 Lotus Workplace）集成的组件。

同保险行业的成功应用一样，金融服务公司使用“BI-文本分析”应用组合的时机也已经成熟。据Forrester最近发表的一份报告显示，文本分析可应用于像风险管理这样的领域。报告举例说，一家主要金融机构的反欺诈专业人员利用这两项技术制作“监视名单”和汇编过去不能通过手工建立数据集联系来采集的法律发现资料。

美国财务规划系统提供商Kettley Publishing将BI和文本分析功能组合起来，使财务规划人员的客户群可以访问最合适的内容。

Kettley利用微软的Windows Workflow Foundation编程模型开发了文本分析功能来整理文本，这是一次为实现增强企业搜索功能进行前期准备的工作。Connolly说：“实现过程进行得很顺利，只用了一个人不到一个月的时间。”

Forrester的Evelson认为，随着软件厂商纷纷向自己的BI资产组合添加文本分析功能，系统集成商将成为第一批从企业对组合系统的兴趣中受益的公司。他说：“这仍旧是一场集成的游戏。”因此，除了投资软件外，企业花在软件上的每1美元至少需要3～5美元的系统集成投资。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友