PostgresQL与数据中台-企业应用专场（50页）.pdf

《PostgresQL与数据中台-企业应用专场（50页）.pdf》由会员分享，可在线阅读，更多相关《PostgresQL与数据中台-企业应用专场（50页）.pdf（50页珍藏版）》请在三个皮匠报告上搜索。

1、企业如何用PostgreSQL系列数据库构建数据中台本议题将为您介绍 DataSphere 通过数据集成平台、数据计算平台、数据服务平台如何在大型金融级复杂数据环境中落地数据中台，以及去Teradata关键难点的解决之道数据集成平台数据计算平台数据服务平台数据中台典型特征数据标准化以实体对象为中心的业务主数据提炼、DMP构建，实现ID识别连接、标签标准规范地自动化生产建设自动化在现有数据平台基础上，自动化构建虚拟数据集市、主题库和专题库，即时响应业务的快速变化管理资产化支持资产化视角构建及管理数据体系，适用于数据类型多样，需要统一管理数据的业务场景业务智能化通过机器学习算法动态识别数据的业务特

2、征，智能推荐业务所需要的数据模型策略配置任务管理断点续传数据对账数据分发标识关联数据计算 任务调度清洗加工数据处理提取 规则业务资源库数据试验空间资源库原始库业务实体库模型标签关键词业务知识库业务库数据资源目录元数据管理信息库主题库知识库业务专题库统一索引库数据存储备份库数据集成数据服务基础应用服务数据管理服务数据共享服务数据中台典型架构数据治理资源目录分级分类数据血缘数据标准元数据数据质量统一元数据统一访问统一存储统一调度统一账户与权限全链路监控大数据云总体技术架构大数据云基础平台托管弹性大数据基础服务超大规模智能计算和存储管理服务智能数据管理统一调度系统统一数据查询搜索分析引擎数据采集数据

3、集成离线计算实时计算图计算交互查询和分析服务全链路监控大数据云生态组件金融大数据服务数据可视化模型化业务分析服务报表服务检索服务数据仓库推荐服务在线事件服务AI云平台统一元数据、访问、存储、调度、权限、监控一站式数据分析与深度挖掘服务监管报表 企业服务客户关系风险管理算法调用模型托管数据存储数据处理弹性伸缩自动化部署运维计算存储分离资源隔离组件高可用开放组件管理账户与权限数据审计多租户开发套件住房租赁智能投顾数据交换数据中台总体架构Web IDE代码库桌面IDE 插件任务流程设计器SQL作业调度作业执行信息作业资源消耗作业重跑补数据作业集成数据来源数据中心(DW)业务源端数据采集调度开发模块代

4、码开发运行调度版本管理数据中台服务区集成工具数据源配置集成规则集成调度测试工具功能测试性能测试测试报告发布工具任务发布节点发布发布管理Spark代码构建打包提交代码执行SQL节点执行Spark节点执行计算资源用户信息同步登录权限用户权限管理资源申请资源详情资源销毁4A统一认证多租户管理数据中台业务架构数据源管理数据源配置调度配置集成任务管理资源消耗监控数据源类型数据集成 统一索引库数据开发运维监控任务监控半结构化存储NoSQL消息队列关系型数据库非结构化存储连接属性数据来源字段映射基础属性时间属性调度依赖连通性测试数据来源数据去向集成任务管理资源消耗监控离线任务同步任务任务资源消耗同步任务任务

5、开发脚本管理任务节点任务发布脚本分类血缘分析提交测试脚本编辑统一索引库任务编排可视化编排串联编排调度时间策略配置依赖配置统一索引库调度配置调度脚本管理调度配置语法校验实时预警监控报表周期实例补数据实例任务重跑任务视图任务监控任务运维租户管理用户管理角色管理系统管理权限管理菜单管理日志管理同步任务查询分析离线计算实时计算数据集成ETL(适配器)集成监控多源批量同步数据校验适配多种查询引擎统一数据缓存JDBC/REST API基础平台运维监控数据仓库HadoopSpark适配Hive/Spark/MR插件/多语言支持计算优化服务插件Spark支持SQL-SCAN适配 Flink插件/SQL支持插件

6、Flink支持优化及高可用服务动态运维管理调度系统运行监控状态监测自定义监控任务配置高可用派发/执行资源权限隔离任务生命周期管理任务列表管理使用人员 数据开发工程师数据分析工程师业务处理工程师其他使用人员数据科学工程师管理服务权限控制计算和存储资源管理运维管理交互分析可视化/交互安全审计多查询引擎适配数据开发统一元数据管理数据模型管理数据融合关联SQL/脚本处理脚本管理数据融合关联数据资源管理数据中台技术架构数据源数据源数据流数据流数据服务数据服务文件加载KafkaLambdaIoT 流API服务数据模型BI分析融合计算数据洞察数据模型算法模型数据集成数据集成数据处理数据处理文件加载云平台S3