2019年从基础大数据到安全业务大数据的演进.pdf

《2019年从基础大数据到安全业务大数据的演进.pdf》由会员分享，可在线阅读，更多相关《2019年从基础大数据到安全业务大数据的演进.pdf（14页珍藏版）》请在三个皮匠报告上搜索。

1、从基础大数据到安全业务大数据的演进目录1.安全数据来源与利用方法现状安全数据来源主要分类与特性安全数据的利用思路与应用路线MASSIF框架2.数据价值转换的阶段特性基础大数据到安全业务大数据的演进方式安全数据各阶段特性与业务价值转换安全业务大数据的持续运营实现与应用场景目录安全数据来源基础大数据大体量数据中小体量数据 数量级大，数量大（条数多）非关系型数据库存储，离线数据挖掘应用较多 数据采集点类型少 数据信噪比平衡问题难以解决 专用安全数据少，流量数据与业务数据类型居多，C端数据除外 典型：全流量镜像数据，运营商核心网设备数据 数据量级相对较小，条数经预处理（合并，压缩）降低 关系型数据库存

2、储，分析方法与表结构强相关 数据采集点类型多 专门用途设备日志居多 典型：单一业务系统日志，安全设备日志抽样深度分析（恶意样本提取）具体业务全量分析（DNS解析记录）离线分析实时分析全量日志分析多种类数据关联分析实时分析历史分析数量抽离规则细化安全数据基本利用思路与定义大体量安全数据中小体量安全数据安全业务大数据样本特征模式训练异常挖掘匹配场景事件关联特殊样本安全数据=用于安全分析的基础数据与安全设备产生的日志数据来自于基础大数据，安全分析人员可感知、可理解或安全防护设备可机读，具备安全管理辅助决策业务属性的可用安全数据安全数据运维工具级应用分布式搜索索引器自动化负载均衡转发器本质是日志集成搜

3、索系统对大数据架构日志系统支持乏力商业化软件成本高封闭式架构扩展性较差基于搜索结果进行分析，分析行为后置字段提取、合并、统计与建模行为分离分析能力取决于分析师个人能力或外部团队支持企业内部运维级安全数据分析体系受限于“后置”安全数据运营平台系统级应用告警驱动事件驱动（前、中、后）场景驱动(多元化)基于日志数据解析基于预置判定规则基于分散数据检索基于设备数据采集基于数据可视图表基于预置关联分析算法安全数据分析风险监控与评估分析安全运营平台安全信息和事件管理平台日志审计平台/工具设备数据采集与回传工具数据存储与计算平台安全协同？受限于“预置”MASSIF框架MICRO（微观）&MESO（中观）安全

4、数据核心价值转换数据“活动”基础大数据基础安全大数据安全大数据安全业务大数据可操作性具备可感知性具备可理解性具备可交付性具备数据管理关注数据形态组织关注数据内禀属性提高数据处理效率增强数据组织能力转换数据价值形态分析面向业务交付使动使活安全数据原始来源可感知事件（Micro）中观（Meso）模型驱动场景可决策安全场景数据形态分析对象基础安全大数据与“（微观）事件”的定义与构建（微观）事件：组成基础安全大数据的元素对象，由基础大数据中的原始日志经安全业务导向的事件模型构造，具备最细粒程度的安全属性。大数据环境存储的原始日志（Something happened）微事件（What happened

5、）裁剪关联聚合审计设备日志登录对象日志流量/会话日志登录行为关联的原始日志根据模型抽取有意义的最小字段登录行为事件衍生为规则异常登录行为事件1.在原始数据来源稳定情况下，固化关联模型，减少取数资源消耗，尤其适应列数据库环境；2.多源数据关联避免单点数据造成的I型与II型错误；3.为场景建模提供可感知的建模元素形态与数据通道；4.降低分析人员工作难度与专业度要求。尝试登陆次数超过阈值，账户锁定，不再记录登陆行为，如何识别异常事件模型示例ETL中观场景威胁模型的业务建模中观攻击行动行为步骤1行为步骤2行为步骤3行为子步骤1行为子步骤2行为子步骤3事件1事件2事件3事件N行为M级子步骤1中观场景威胁

6、模型的数据建模安全场景ER建模 确定安全场景各主题、实体 确定主客体属性及相关关系安全场景逻辑建模 使用标准业务元数据字段名，将安全场景ER模型映射为安全场景维度表 使用事件模型构建安全场景事实表，并与维度表关联安全场景物理建模 基于逻辑模型已建立的各事件模型关系，建立索引 根据事件模型算法，生成ETL脚本，提供提数接口基于ATT&CK模型的中观攻击行动业务模型安全业务大数据的持续运营实现1.形成基础大数据到安全业务大数据持续转换生产的技术支撑能力；2.解决大数据安全应用场景