绿盟科技：大数据管理关键技术分析报告（68页）.pdf

1、大数据管理关键技术 胡小立 目 录 背景说明 数据管理方法论 场景化大数据管理 落地实践 背景说明 01 数字革命，新的工业化革命 连接 在线 数据 智能 数字政务 消费互联网 智慧城市 智慧产业 智慧商业 行业大脑 智能制造 精准营销 产业大数据 行业云 智慧能源 随着消费互联网的反战，商业互联网沉淀出了包括电商、支付、信用、沟通协同、定位等等众多的全新数字架构和能力。同时数字政务、智慧城市、智慧产业已经陆续进入高速发展的进程。一方面，s商业互联网的数字架构和能力，会输出给政府、城市和产业，为它们所拥有；另一方面，政府、城市和产业也将生长出自己全新的智慧商业架构和能力。今天这四大领域都在发生

2、着全新的变革，他们共同组成了一个新型数字化社会。数据中心成为数字化应用的重要基础设施 大数据中心 特高压 5G基建 人工智能 工业互联网 新能源充电 城际高铁 断路器 直流交电 电站监控 高压组合 在线课堂 远程医疗 终端射频 车联网 云计算 人脸识别 自动驾驶 机器学习 智能制造 互联平台 终端监控 智能电表 集成式充换电站 充电桩 机车供电 机车车体 工程机械 轨道控制 数据存储 数据计算 数据分析 数据处理 数据挖掘 数据汇聚 创造数据价值 数据攻击目标 数字化转型带来数据场景的颠覆性变化 系统/部门（内部流转）民众/跨系统/部门 数据安全法总览 6月10日，国家主席习近平签署了第八十四

3、号主席令，自2021年9月1日起施行 数据安全法是总体国家安全观框架下，国家安全法律体系的重要组成部分。该法律在网络安全法的基础上，进一步明确了数据安全相关者的保护义务与职责，并与国家互联网信息办公室发布的数据安全管理办法（征求意见稿）相互照应。数据安全法的诞生，标志着数据安全上升到国家安全层面，意义重大。数据安全法共七章五十五条。中华人民共和国数据安全法 大数据平台漏洞和不当配置引入安全隐患 6 11 11 25 37 44 51 73 60 50 010203040506070802011201220132014201520162017201820192020每年新增大数据平台CVE漏洞数

4、 信息来源：CVE官网 Name 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 Sub total Kafka 2 2 5 3 8 20 Hbase 1 1 1 4 4 1 12 Hive 1 2 5 3 3 6 1 5 26 HDFS 1 1 1 3 5 0 2 4 17 Spark 2 1 4 8 11 7 5 38 Elasticsearch 1 3 8 2 3 8 8 11 44 Zookeeper 1 1 1 3 4 11 6 27 Splunk 4 2 6 9 4 5 6 5 5 1 47 Map Reduce 1 1 Yarn

5、 1 1 1 2 2 3 3 2 15 Storm 2 3 1 1 2 3 2 7 7 1 29 Impala 2 3 2 2 9 Hadoop 4 1 3 3 4 8 12 2 1 38 Pig 1 1 Ranger 1 4 7 3 3 4 1 23 Ambari 1 6 4 3 2 1 4 21 Subtotal 6 11 11 25 37 44 51 73 60 50 368 根据多家调研机构的对大数据安全的研究，大数据平台自身的漏洞和不正确的配置成为平台上数据安全风险的最容易忽略的地方；服务器暴露与配置问题成为数据泄漏主要原因 来源：2019网络安全观察报告 50%33%6%11%互联

6、网暴露与配置问题 存在漏洞 管理问题 未知原因 数据安全风险因素 3、数据泄露 访问：认证、权限 共享：业务（门户、调用测试）、人员交互 外发：跨区、第三方（网络、邮件）外带：出差、回家 1、非法收集：外部：漏洞攻击、木马注入、弱配置、APT 内部：越权盗窃、离职 威胁 脆弱性 暴露 风险 防护措施 资产 利用 导致 这就是 通过什么减轻 保护什么 被什么危害 风险 元素 2、数据滥用：诱导、贩卖、敲诈 数据安全监管过程控制框架 数据安全管理办法 出境安全评估办法 个人信息安全规范 数据安全保护策略与 建设指南 运行维护管理 安全事件管理 安全风险管理 制定制度规范 制定技术标准 检查工具选型