主会场2.3-FastData DataFacts建设数据智能平台的实践-刘波（脱敏版）.pdf

1、FastData DataFacts建设数据智能平台的实践刘波 滴普科技 FastData产品线DataFacts产品总经理PART 01DataFacts产品概述DataFacts产品定位:一站式数据智能开发平台，实现数据价值可持续释放DataFacts 是滴普提供的云中立、一站式的数据智能服务平台，为数据工程师提供数据集成、数据建模、数据开发、数据服务、数据质量、数据安全等开箱即用的服务能力，降低企业数字化转型实施门槛，提升数据智能平台构建效率，赋能企业数据资产持续沉淀，从而实现数据价值可持续释放。API开发API市场API安全数据服务实时/离线运维运维看板智能监控数据运维离线/实时开发测

2、试管理任务发布数据开发一站式数据开发服务数据集成服务实时同步（CDC）批量同步断点续传实时运维数据安全数据质量质量规则质量监控质量报告数据权限安全审计数据脱敏统一调度服务DataFacts 一站式数据智能服务平台DataKuber/DataSense统一身份认证服务CDH/DLink/EMR/MRS/CDP/HDP/.逻辑模型物理模型ETL Mapping数据建模规则模板评价体系数据分级分类数据加密产品定位核心目标：DataFacts 面向PB级实时/离线数据开发、运维场景，提供集数据建模、数据集成、数据开发、数据服务等能力于一体的一站式数据开发平台，屏蔽复杂的技术环节，在保证数据安全底线的基

3、础上，让数据工程师专注于面向业务需求的数据开发，实现易用、便捷、安全的高质量数据生产能力。数据任务类型多 缺乏有效手段统一离线/实时数据处理；数据类型多样化加剧数据流转及融合难度。数据开发协同难 数据开发工具分散，开发任务难以统筹协同，开发效率低、不敏捷；数据任务缺乏统一审核、发布、运维机制，易出错、易返工、难维护。数据安全风险高 对数据的访问、流通缺乏统一的安全策略。数据平台建设慢 数据平台涉及组件多，构建难度大、数据开发人员不能专注于数据业务。关键痛点核心能力数据集成基于CDC技术，提供不侵入业务系统的企业级实时数据同步服务，保障数据时效性、可用性；基于WAL架构下的CKP异常自动保存技术

4、，实现断点续传，面对再复杂的网络状况，也能保证数据传输的稳定性；插件式能力扩展，快速迭代数据集成能力和数据源适配范围。数据建模支持逻辑模型、物理模型设计，保障建模流程规范可控；支持模型逆向工程，快速容纳管理企业存量数据模型；融合多个行业最佳实践方法论，提升建模效率。数据开发支持WEB SQL的可视化离线/实时任务开发，降低用户学习成本；多种任务DAG组织形式，实现跨流程、跨项目任务依赖，方便支持多种业务场景；丰富的大数据组件，根据资源现状灵活实现多种任务，资源利用率更高；支持数据的开发与生产环境隔离、多人协同开发，更安全、更高效。数据运维数据处理任务以DAG组织并监控，任务修复重跑、暂停、ki

5、ll等操作更优雅；完备的告警体系，支持自定义告警规则和丰富的日志信息，提高运维效率。数据服务拖拽式工作流编排，实现复杂api的场景；统一的企业数据共享服务，严格管控数据使用权限；多视角监控及分析服务的使用情况，高效评估数据资产的价值。数据安全贯穿数据资产化全程，提供对隐私数据的脱敏、权限管理和安全审计等多种数据安全管理措施，全方位保障数据的安全运作。数据质量覆盖数据资产化全流程进行质量监管和检验，保障数据完整性、有效性、及时性、一致性、准确性、唯一性；内置质量检测规则模板并支持自定义规则，使质量检查场景更丰富；支持与ETL任务关联执行质量检查，及时发现问题数据，减少数据污染。产品价值智能运维，

6、及时高效数据任务智能化监控，异常告警及时处理。大规模数据同步及ETL PB级离线/实时数据规模；百万级任务复杂调度。敏捷、及时、轻松 实现数据团队DataOps；数据开发更专注、更高效。数据安全有保障数据安全策略贯穿数据资源化全流程。建设快、门槛低 平台组件统一部署；开发工具开箱即用，可视化开发维护易使用。产品优势核心优势实时高性能数据同步基于CDC技术，实现复杂网络环境下的实时数据实时同步，轻松应对海量异构数据源，全面覆盖各类数据同步场景。支持复杂调度场景一站式数据开发全流程数据质量监控生态开放云中立简单易用多人协作支持ETL流程多层嵌套、跨项目、跨流程依赖调度。支持ETL全流程的事前、事中