专场14.4-快手大数据安全平台建设与实践-马玲玲.pdf

《专场14.4-快手大数据安全平台建设与实践-马玲玲.pdf》由会员分享，可在线阅读，更多相关《专场14.4-快手大数据安全平台建设与实践-马玲玲.pdf（30页珍藏版）》请在三个皮匠报告上搜索。

1、快手大数据安全平台建设与实践马玲玲 快手 大数据安全负责人自我介绍马玲玲快手大数据安全负责人主要关注大数据平台架构和大数据安全技术领域主要负责大数据安全平台的体系化建设工作关于快手致力于成为全球最痴迷于为客户创造价值的公司我们的使命是帮助人们发现所需、发挥所长，持续提升每个人独特的幸福感愿景以商品交易总额计全民短视频社区日活用户 3.63亿月活用户 6.26亿日均使用时长 129.3分钟关于快手大数据平台提升数据决策效率，利用数据助力业绩提升万级EB级PB级十万级集群规模总数据量日净增数据量日作业量通过大数据技术，对公司数据统一采集、存储、加工和挖掘形成高质量全域数据资产，以分析决策产品和服务

2、的方式对外提供数据解决方案使命职责目 录3.最佳实践2.平台建设4.总结与规划1.背景介绍01快手大数据安全建设思路快手大数据安全面临的挑战背景介绍快手大数据安全平台定位快手大数据安全平台定位LogServerbinlog服务服务BI平台平台App分分析析AB系统系统 数据上报阶段数据上报阶段 数据采集阶段数据采集阶段 数据同步阶段数据同步阶段 数据加工阶段数据加工阶段 数据分发阶段数据分发阶段 数据服务阶段数据服务阶段数据上报数据上报数据收集数据收集数据同步数据同步离线离线/实时实时ETL数据分发数据分发API数据质量检测平台数据质量检测平台数据安全平台数据安全平台元数据平台元数据平台数据安

3、全平台数据安全平台大数据同步中台大数据同步中台实时实时/离线开发平台离线开发平台OneService平台平台数据同步中台数据同步中台实时实时/离线开发平台离线开发平台OneService平台平台职责：为大数据全链路、全生命周期保驾护航，保障数据安全快手大数据安全面临的挑战通用性精细化高可用扩展性系统覆盖度广大数据计算和存储引擎数据生产类平台数据分析类平台数据精细化管控支持报表、数据集、指标、维度、库、表、行、列、文件等多种资源的权限控制对数据的读、写等操作进行细粒度权限控制满足多租户体系的数据隔离和权限管控业务灵活多变满足多种业务线的权限管控需求满足数据分析类平台灵活多变的业务需求性能要求高需

4、要支撑千级用户、百万级资源的亿级权限关系，满足几十毫秒级鉴权延时支持OLAP每天亿级查询，HDFS百万级QPS快手大数据安全建设思路大数据安全组织治理工具规范安全效率建设原则保证安全兼顾效率安全原则安全合规职责明确最小权限数据授权分类分级权限不转移建设思路02解决方案平台建设发展历程系统架构关键技术发展历程V2.0 精细化V3.0数据合规V1.0 一站式权限模型RBAC：资源和角色PRBAC：资源、资源包、动作、用户组PRBAC(行级权限)：行级权限、租户数据隔离PRBAC(行列级权限+多模式)：列级权限、精细的管控模式安全能力2A能力：提供鉴权、申请、主动授权的能力（2A安全能力）2A能力：

5、申请、审批、授权、清查等一站式权限管理能力4A能力：大数据统一认证、全链路审计5A能力：加解密、脱敏、安全隔离仓系统覆盖分析类：报表平台分析类：报表/分析工具/实验等引擎类：HIVE分析类：报表/分析工具/实验等开发类：ETL开发/同步/API服务引擎类：HIVE分析类：报表/分析工具/实验等开发类：ETL开发/同步/API服务引擎类：HIVE/DRUID/CK/KAFKA/HDFS201820192020快手大数据安全原始阶段解决方案认证授权访问控制资产保护审计5A安全能力数据识别加密及脱敏权限管理合规检查事前安全事前安全访问控制实时告警事件响应权限回收事中安全事中安全访问审计下载审计安全态

6、势风险发现事后安全事后安全大数据安全大数据计算及存储引擎数据生产平台数据分析平台全域全能力全周期系统架构统一化和插件化统一服务：统一服务：提供通用的认证、鉴权、查询、审计等服务统一计算：统一计算：鉴权和规则计算统一接入：统一接入：资源通过元数据总线统一接入统一存储：统一存储：提供缓存管理、缓存数据加载及版本管理等引擎组件插件：引擎组件插件：满足各个引擎自身特点，比如高QPS、低延时等系统保障高可用保障：高可用保障：提供监控告警、降级容错、预案演练、限流等一些列措施，保障系统的高可用高性能保障：高性能保障：多级缓存等数据同步实时开发调度系统HiveOLAPHdfsKafka统一大数据安全Plug