2019年敏捷数据中台建设实践.pdf

《2019年敏捷数据中台建设实践.pdf》由会员分享，可在线阅读，更多相关《2019年敏捷数据中台建设实践.pdf（58页珍藏版）》请在三个皮匠报告上搜索。

1、敏捷数据中台建设实践分享主题v ADX顶层设计v ADX中间件工具层v ADX平台服务层v ADX数据产品层v ADX应用案例敏捷数据中台：ADX(Agile Data X Platform)ADX顶层设计定位与价值架构维度能力维度用户与场景定位与价值：什么是数据中台根据数据咨询公司Thoughtworks首席咨询师王健给出的9字定义，中台就是：企业级能力复用平台企业级划定了中台的范围，区分开了单系统的服务化与微服务；能力指定了中台的主要承载对象，能力的抽象解释了各种各样中台的存在；复用定义了中台的核心价值，过去的平台化对于易复用性并没有给予足够关注，中台的兴起，使得人们的目光更多的从平台内部

2、，转换到平台对于前台业务的支撑上；平台说明了中台的主要形式，区别于应用系统拼凑的方式，通过对于更细粒度能力的识别与平台化沉淀，实现企业能力的柔性复用，对于前台业务更好的支撑；定位与价值：白话数据中台中台就是公共服务平台，数据中台就是将数据加工以后封装成一个公共的数据产品或服务。家里厨房有油/盐/酱油/醋/料酒/生抽很多种调料（数据），你（业务部门）特别喜欢吃糖醋排骨/糖醋鱼/糖醋里脊/糖醋猪蹄（各种业务应用），你老妈（IT部门）觉得每天都按照比例调制糖醋汁很麻烦很浪费时间还每次都有偏差（每次数据有误差）。于是你老妈决定按照“1料酒；2酱油；3白糖；4醋；5水”的比例（数据算法）调制好一大桶糖醋

3、汁（数据产品），以后每天倒一点糖醋汁就可以很快做出一盘糖醋XX（业务应用）。这个调制糖醋汁的过程就相当于构建了一个数据中台，糖醋汁就是数据产品。数据产品往往不是直接提供给用户使用的，而是提供给业务应用使用的（类似于糖醋汁不是用来直接喝的，而是用来做糖醋XX的）。另外，为了调制更快更准确，可能还需要买一些密封大桶/漏斗/量杯（ETL/BI 等数据工具）。当然，如果你家十天半个月才做一次糖醋XX（低频），那就没有必要调制一大桶糖醋汁放那儿（不需要构建这个数据产品）。类似这个逻辑，如果你家每天都做八宝粥，则可以把八种粮食（数据）混合好放一个大桶里做成八宝粥混料（数据产品）。如果你老妈的糖醋XX做的特

4、别好开了个餐馆，每天做给几百个人吃（需求量变大），就需要调制更多糖醋汁买个冰箱存起来（数据仓库），这也解决了随用随挑（实时取数）的效率瓶颈。所以，在做数据中台之前，先自问一下：q有没有糖醋汁、八宝粥混料的需求？（有没有数据产品的需求？）q有多少人吃？（使用这个数据产品的需求量大不大？）q多久吃一次？（需要这个数据产品的频率高不高？）如果以上都合理，就可以开始规划数据中台了。数据中台的核心理念在于“数据取之于业务，用之于业务”，即它相比于数据平台注重的是对业务的积累和沉淀，构建了从数据生产到消费，消费后产生的数据再回流到生产流程的闭环过程。业务积累和沉淀的过程体现在数据中台对外提供的数据服务，数

5、据中台作为整个企业组织所有业务的数据消费需求的提供方，通过业务对数据服务的不断滋养，会形成一系列稳健的数据服务，这样当出现新的市场机会需要构建新的前台应用时，数据中台可以无差别的进行数据服务供给，从而保证了企业组织的创新火种。定位与价值：敏捷数据中台的定义数据平台引擎（技术维度）数据产品服务（业务维度）数据资产体系（数据维度）数据运营机制（管理维度）定位与价值：敏捷数据中台的定位敏捷数据中台定位敏捷数据中台ADX（by 数据中台团队）自助化 实时化 统一化 服务化 管理化 可溯化业务前台数据团队业务前台数据团队业务前台数据团队业务前台数据团队数据安全团队数据运营团队数据管理委员会数据集群（by

6、 集群运维团队）从数据技术和计算能力复用，到数据资产和数据服务复用数据中台会以更大价值带宽，快准精让数据直接赋能业务定位与价值：敏捷数据中台的需求 业务条线众多：众多业务板块，众多业务条线 技术选型众多：适配RMDBS/NoSQL/NewSQL；多种语言；多种存储等 数据需求多样：报表、可视化、服务、推送、迁移、同步、数据应用等 数据需求多变：经常有需要周级产出的数据需求和数据应用 数据管理考虑：数据元信息可查，数据定义和流程标准化，数据管理可控等 数据安全考虑：多级数据安全策略，数据链路可追溯，敏感数据不可泄露等 数据权限考虑：表/列/行级数据权限，组织架构、角色、权限策略自动化 数据成本考