|
社会化大数据的企业应用实践大家好,非常感谢畅享IT组织的这次网络分享活动,我是用友的张欣,今天我跟大家分享的主题是:社会化大数据的企业应用实践。 大数据支撑下的舆情信息管理系统,这是一个简单的架构图,下面是大数据处理的平台有PC处理的服务,上层是接了分析系统,可以做热点分析、查询服务、搜索引擎、自能过滤,要把它用在实际应用当中,每日舆情报告、对手实时监测、当前热点追踪、负面舆情监测,通过多个维度可以把对手发生的事情,哪些是最近发生的热点,是怎样变化的、有哪些负面消息是有必要及时关注的。现在我们这个系统已经替换了购买的第三方服务,每天会给各种部门的负责人发送相关的报告,了解第一手资料。 这张图是介绍了舆情信息管理系统的处理流程,图的左下角可以看到数据采集的来源,资讯网站,它有一个非常庞大的列表,有微博、论坛、博客、淘宝、京东等数据作采集,做网页内容抓取,比如说标题、链接、发布时间、内容做提取、不要的内容过滤,存储并放到大数据平台里面。我标红的HBase是我们目前主要使用的一个组件,相当于基于这个大数据平台把所有的内容放到HBase里面,上层的分析,比如说我在搜索引擎里可以对这些数据作索引,定义索引的结构在里面提取文字,做中文的分词,去掉停止词创建索引,做一些数据的预测,这些数据反馈出来之后,我们有报告模版,通过这些内容对模版进行填充,发送给我们的用户,当然目前的用户是我们集团的一些高管。 这个是我们的每日信息概览的一个报告,相当于我把所有的信息做了一个汇总,汇总之后分门别类,比如说大数据这个门类有无数个关键词,把相关的信息提取出来,进行排序,可以看到最新信息的动态,这个是我截取的一部门,报告还是比较长的。大家看到的这个图有一个网站是用友的开发者社区,我们在这个社区里面嵌入了一块叫技术情报一个频道是自动生成的,跟刚才那个报告时有点异曲同工,但是展示出来的信息是用友自己的动态。这些可以作为我们网站内容的补充。 今天讲的就大概这么多,谢谢大家! 责编:李玉琴 微信扫一扫实时了解行业动态 微信扫一扫分享本文给好友 著作权声明:畅享网文章著作权分属畅享网、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。 |
热门博文 |
|