王赛-阿里巴巴大数据智能技术（20页）.pdf

《王赛-阿里巴巴大数据智能技术（20页）.pdf》由会员分享，可在线阅读，更多相关《王赛-阿里巴巴大数据智能技术（20页）.pdf（20页珍藏版）》请在三个皮匠报告上搜索。

1、阿 里 巴 巴 大 数 据 智 能 技 术阿里巴巴数据技术及产品部王赛问题与挑战Dataphin2 314阿里数据中台普惠社会关键技术变革问 题 与 挑 战大 数 据 团 队 典 型 问 题分析师如何高效使用数据数据工程师如何最优建设数据团队主管如何招聘数据专家数据流失存数据资产管数据孤岛通采集&集成规划设计连接萃取大 数 据 之 路 的 挑 战跨数据源异构数据质量研发效能计算性能存储成本标签挖掘数据服务实体识别业务应用Dataphin：让数据工作协同、智能化让 一 切 一 起 协 作：数 据 工 作 台 的 崛 起Matt TurckMaking everything work togeth

2、er:The rise of the data workbench。The 2017 Big Data Landscape国内专有云国际公共云国内公共云数据层管理及服务层工具层垂直数据中心全域数据中心萃取数据中心全域数据研发套件数据连接萃取套件调度运维监控工具智能数据建模及研发管理工具ID识别连接工具标签画像生产工具面向业务的、基于主题的统一数据服务统一数据资产及其管理技术内核智能计算框架业务逻辑模型垂直数据处理套件数据采集管理工具数据清洗及结构化工具数据同步集成工具数据建设&管理方法论OneServiceOneIDOneDataDataphin 产 品 架 构兼容多计算引擎标准化数据定义智能

3、物理模型从数据采集到数据服务全链路通全流程一体化通用产品+行业产品+专享产品向上多样化赋能场景公共云+专有云+私有云向下屏蔽多计算引擎数据规范定义从业务源头标准化数据标准化OneData方法论业务与产品&技术协同互助双向联动规范定义、建模研发、调度运维、技术内核工具化半自动化-智能化规划计算和存储元数据驱动智能化基于超强ID识别技术连接数据技术驱动数据连接OneID方法论超强ID识别、高效标签生产、技术内核工具化孤岛-高质量-高价值业务驱动技术价值化主题逻辑表屏蔽复杂物理表主题式数据服务OneService方法论一般查询+OLAP分析+在线服务统一但多样化数据服务屏蔽多种异构数据源跨源数据服务

4、数据引入数据规范定义数据建模研发数据连接萃取运维调度数据资产管理数据主题式服务智能数仓规划基 于 Dataphin 数 据 建 设 标 准 流 程Dataphin：关键技术变革业务逻辑模型：物理表视角企业级业务视图视角概念模型逻辑模型物理模型数据分析师数据工程师业 务 逻 辑 模 型 让 协 同 变 得 简 单商品天猫商品淘宝商品航旅商品子模型=父模型主键子集合+子类扩展属性数据一致协同开发提升效能公共空间业务空间复用共享标准化数据定义：复用数据复用计算逻辑原子指标分析粒度业务限定派生指标统计周期比较型指标业务过程度量派生指标Y=f(原子指标,业务限定,统计周期,分析粒度)业务逻辑模型c1=f

5、1(x)c5=f5(x)c2=f2(x)c3=f3(x)c4=f4(x)临时表自动选择算子重组防倾斜处理物理表选择优化智能计算引擎计算执行单元1计算执行单元2计算执行单元3MaxComputeHadoopSparkGreenplum智能计算引擎生成及优化代码主 题 式 的 智 能 查 询 技 术SQL On Physical TableSQL On Logical Model动态路由支持多平台垂直拆分并行查询虚拟物化视图智 能 物 理 模 型 管 理c1c1c2c4c5c6c7c8c9c10K1K2K4K5K3K6K7TableATableBTableCTableA.keys=k1,k2,k3

6、TableA.colums=c1,c2c10TableB.keys=k1,k2,k3.k7TableB.colums=c1,c2,c3,c4,c5TableC.keys=k1,k2,k3TableC.colums=c5,c6,c7,c8计算依赖产出时间查询相关性水平切分垂直切分阿里数据中台普惠社会IaaS硬件及计算引擎服务器PaaSDataphin智能数据引擎SaaS通用工具|行业产品通用工具QuickBI|DataV|ADplus|行业产品Dplus|Oplus|智能分群|