第62期CIO时代信息化大讲堂：智能运维与海量日志分析

近年来运维技术飞速发展，运维团队建设了各种系统，虚拟化、容器化、持续集成等等。但如何有效地利用这些系统最终实现站点的高可用、高性能、高可扩展？在大数据时代，智能运维是基于大数据之上的。大数据里90%都是非结构化数据，日志是重要的非结构化数据，日志无处不在，因此，从日志里面挖掘的价值非常高。

2017年9月27日，由中国新一代IT产业推进联盟主办，CIO时代APP承办的"第62期CIO时代信息化大讲堂"活动在北京CIO时代学院报告厅成功举行。日志易项目总监赵亮作为本次活动的特邀讲师，发表了题为《智能运维与海量日志分析》的主题演讲。本次活动吸引了企业技术人员、高校学生、业界CIO等40多人参会，活动现场提问不断，气氛活跃。本次讲座活动由CIO时代APP市场运营张林颖主持。

日志易项目总监 赵亮

他主要从智能运维、小功能介绍、场景分析及价值以及机器学习四个方面进行了详细阐述。

日志是鲜活的，是可以发声的。他表示，要把机器学习、人工智能应用在运维领域，来实现智能运维，然后两者结合服务于三大模块：服务台、自动化、监控。机器学习、大数据在不同企业的落地技术是不一样的，机器学习在整个行业里还处于一个发展的阶段，跟实际要求的预期还存在一定的差距。

智能运维架构

1、数据采集，采集是基础，包括日志、事件、性能指标。

2、数据存储，主要是非结构化数据存储，日志这种数据是非常典型的。

3、数据分析，把整个数据源进行整体的分析，主要把握深度分析、实时分析两大模块，也是智能运维中最为关键的环节，要很精准的做到非结构化数据分析，来达到想要的指标。

4、数据展现。可以通过可视化、自然语言来实现。

大数据技术应用于IT运维，通过数据分析提升IT运维。Gartner估计，到2017年15%的大企业会积极使用ITOA，而在2014年这一数字只有5%。

ITOA 四种数据源的比较

1、机器数据（日志）。日志无所不在，但不同应用输出的日志内容的完整性、可用性不同。

2、通信数据（网络抓包）。网络流量信息全面，但一些事件未必触发网络流量。

3、代理数据（嵌入代码）。代码级精细监控，但侵入性，会带来安全、稳定、性能问题。

4、探针数据（模拟用户请求）。端到端监控，但不是真实用户度量（Real User Measurement）。

日志管理系统演进

1、日志1.0 数据库。固定的schema无法适任意日志格式，无法处理大数据量。

2、日志2.0 Hadoop／NoSQL。需要开发成本，批处理、实时性差，不支持全文检索。

3、日志3.0 实时搜索分析。实时、灵活、全文检索。

4、日志4.0。主要是应用机器学习、人工智能技术。

日志易的“小功能”主要表现在丰富的数据采集手段、多种数据整理方式、内置多种解析规则、细粒度权限设置、数据脱敏、日志生命周期管理、简单多样的告警手段几个方面，使日志易的“小功能”专业而全面。

场景分析及价值

一、安全审计及合规

2017年6月1日，《中华人民共和国网络安全法》正式实施，其对业务系统安全审计提出了新的要求。日志易既对外做SOC（安全运营中心）的支撑平台，又对内做UBA（用户行为分析）。很多企业在使用之后，满足了合规要求。

二、统一日志管理

目前接入600多个子系统应用日志，202台网络设备日志，45台F5设备日志，47台存储设备日志，每秒产生的200万条日志，由于日志量庞大，为了降低防火墙策略的复杂度以及防火墙流量压力，将网络设备、服务器、业务应用日志通过专门网口接入到内网万兆交换机，直接转发到日志易集群。各业务系统服务器中部署日志易采集agent，用于增量读取业务日志，目前已部署1300多个。

活动现场

在此次讲座中，赵亮先生深度讲解了日志易的内部技术原理，深入浅出。嘉宾们认真听讲，纷纷表示不虚此行。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友