2020BCS-北京网络安全大会：海量日志采集、解析实践.pdf

1、海量日志采集、解析实践 01 ? 02 ? 03 ? 04 ? 05 ? 01.自我介绍 邓小刚 奇安信网络安全部 负责内部安全大数据平台架 构、实施和维护 20年以上IT及安全领域从业经验，2007年起从事SIEM学习及实践 2007年获得ArcSight AEIA/AESA认证 2011年帮助公司首家获得中国ArcSight Service Partner认证并成为 第一个认证讲师 主要参与并负责了如下知名企业的SIEM相关项目实施 香港证券交易所培训服务：ArcSight ESM、Logger、Flex 招商银行安全运营平台建设：ArcSight ESM、Logger 世纪互联MSSP平

2、台搭建及运营：ArcSight ESM 中国石化安全管理平台建设：ArcSight ESM 神华集团安全监控平台建设：ArcSight ESM Appliance 厦门国际银行日志管理平台建设：ArcSight Logger 包商银行日志审计平台建设：ArcSight Logger 安利中国专业服务：ArcSight ESM 太平洋保险SIEM平台咨询服务：McAfee ESM 灵活灵活 快速适应日志格式变化 量大量大 难以横向扩容 昂贵昂贵 按EPS计费难以承受 度量度量 日志有效性监测 02.挑战 02.应对 虚拟化集群虚拟化集群 支持横向扩容 开源产品开源产品 自我可控 灵活灵活 按需解

3、析、规范化格式 富化富化 增加监测点 03.采集-Linux imuxsock imfile impstats omrelp 03.采集-Windows WinlogBeat FileBeat PacketBeat Logstash 03.采集-DB/API JDBCRest KAFKA 03. 采集-SFTP ShellPython SFTP Bat/Powershell 03.采集-过滤/转换/富化 原始日志 负载均衡 过滤/转换/富化初级原始日志消息队列 04. ? ? ? ? ? 04. ? ? ? ? ? ? ? ? ? ? ? ? ? method: GET, path: /xxxx, format: */*, controller: Projects:GitHttpController, time: 2020-07-22T04:38:19.394Z, params: key: