1、基于云原生数据仓库AnalyticDB PG 的最佳实践江敏数澜科技联合创始人兼副总裁Contents目录01背景介绍02方案介绍03客户实践04公司简介背景介绍01数据中台发展趋势行业增长势头明显当前我国数据中台行业处于从萌芽转向高速发展的过渡期,伴随着数据量的爆发式增长、数据处理技术的进步,以及企业数字化转型驱动市场需求不断增加,行业增长势头明显,市场规模快速扩张。标准化、轻量化将成趋势数据中台在行业头部已逐渐落地,而对于数据中台能力要求相对简单的中小企业,为其提供标准化、轻量化的整体解决方案将是目前市场的主要诉求。来源:艾瑞咨询来源:艾瑞咨询小微企业大型企业数据中台技术应用的挑战底层架构
2、复杂传统数据中台架构思维,导致客户在选型&部署大数据组件(HadoopFlinkPrestoKylin等)、开发&调度数据任务(Hive SqlFlink SqlMRSparkPython等)和运维&运营数据(Data QualityValueMetadata)需要多方进行权衡考虑,架构复杂,使用门槛过高。运维成本高伴随着传统数据中台底层架构的复杂性,随之而来的是复杂的IT人员体系以及高昂的运维成本。响应时效挑战大随着数据量的不断增加以及业务需求的不断迭代,如何快速响应业务人员需求、减少数据分析的等待时间、让一线业务人员有更好的体验将成为数据中台成功的关键指标。方案介绍02基于轻量级数据中台的
3、数字化应用全景轻量级数据中台业务管理应用敏捷开发平台(Developer for AnalyticDB)AnalyticDB for PG传统数字化业务管理应用主数据管理软MDM企业资源计划管理ERP客户关系管理CRM证券交易实时监察系统人力资源管理系统HRM数字化转型创新应用应收应付全链路元数据监控系统制造客户数字营销服务系统制造基于规则引擎智能审计系统通用高净值客户挖掘系统金融多维指标分析系统通用慧眼视频行为分析系统安全人车轨迹伴随分析系统安全轻量级数据中台技术体系OSS AnalyticDB for PG Developer for AnalyticDB数据体系研发资产体系 采购资产体系
4、 生产资产体系 仓储物流资产体系 销售服务资产体系 财务资产体系 人事资产体系服务体系通用技术服务(如水流量API)算法模型类服务(如泵站预警API)基于场景的数据治理质量管控体系-RQC(元数据 数据标准 数据质量)价值运营体系-CVO(价值模型 资产管理 成本模型 数据安全)数据(Data)市场数据服务(DataAPI)市场数据模型(DataModel)市场应用(App)市场数据运营门户业务数据源数据场景数据可视化场景运营分析驾驶舱调度运营大屏数据业务场景综合智能预警平台智慧审计分析精准营销分析更多ERP系统PLM系统MES系统CRM系统OA系统E-HR系统费控系统.轻量级数据中台业务架构
5、环境管理用户管理数据源管理集群管理资源管理业务数据数据同步模型开发模型监测AnalyticDB for PGTDMODSDWDAPI(AnalyticDB for PG)数据API模型API应用管理命令流数据流数据流智能应用轻量级数据中台技术体系业务模型开发业务流程开发数据地图数据安全业务模型质量管理API开发API上线/下线API鉴权API监控Developer for AnalyticDBERP系统PLM系统MES系统TMS系统CRM系统OA系统预算系统资金系统E-HR系统费控系统.数据体系业务数据+纬度|-名称|-位置|-地域范围|-.员工|-工号|-姓名|-性别|-年龄|-学历|-.智
6、能算法引擎通用技术引擎服务体系数据体系(基于业务主题对数据进行标准化及分类管理)资产体系(基于对象建模构建基于实体的业务视角下的资产类目体系)治理体系客户信息|-客户名称|-客户id|-联系方式|-地址|-客户类型|-.设备|-设备名称|-设备编码|-设备类型|-设备级别|-设备尺寸|-规格|-年检标志|-.产品|-产品名称|-产品编码|-产品类型|-生产时间|-规格|-型号|-.类目|-类目代码|-类目名称|-类型|-级别|-创建时间|-开始生效时间|-截止时间|-.供应商|-供应商名称|-代码|-供货类型|-法人信息|-联系方式|-信用评价|-.物料