阿里云数加大事记（31页）.pdf

《阿里云数加大事记（31页）.pdf》由会员分享，可在线阅读，更多相关《阿里云数加大事记（31页）.pdf（31页珍藏版）》请在三个皮匠报告上搜索。

1、大数据操作系统，七年磨一剑陈鹏宇（不老）阿里云 高级产品专家阿里云数加大事记数加进化史：内部业务锤炼数加对外开放：普惠大数据与合作伙伴共赢目 录content2009年，马云说阿里巴巴是一家数据公司Facts：百万级客户日均笔数过万极低坏账率七年前伴随数加一起成长的业务：阿里金融（蚂蚁小贷）数据加工数据仓库数据加工流水线EDWADMCDM模型运算决策引擎算法部署模型决策访问接口模型结果在线系统金融业务贷款保险理财数据化运营的信贷流水线阿里金融带来的启示：从 Data1.0（看数据）进化到 Data2.0（用数据）7一切业务数据化，一切数据业务化云计算大数据金融营销信用安全风控客服物流搜索IOE

2、+Greenplum+Hadoop+存储昂贵，可扩展性差。再过几年，IOE的成本就可以使得公司破产存数据孤岛各业务部门的数据散落在多个集群，彼此之间数据不通，数据共享太难太难！通数据重复建设由于数据不集中，导致数据被拖来拖去、重复存储和计算。光淘宝商品类目表就有70多张！用阿里金融的生存状态：刀口舔血如何孵化更多阿里金融？阿里巴巴大数据背后的挑战EB级的数据算不算得动？百万张表如何管理？数据质量之殇：一分钱一百万大集中的数据如何确保安全？Hadoop,GP,Oracle,MaxCompute(原ODPS)登月：史无前例的数据和应用大搬家所有BU参与，历时一年半，耗费数万人天。123统一平台，数

3、据大集中统一的存储，统一的计算引擎，统一的数据开发平台资源共享，弹性分配基于ODPS多集群技术，由数以万计的服务器提供超级计算能力，按需弹性分配给各数据开发团队数据隔离，分权管理基于ODPS多租户机制，各部门可独立管理自身的数据，独立做数据授权统一大数据技术平台关系网络关系网络部门部门1部门部门3部门部门5部门部门2部门部门4安全的数据共享机制（基于MaxCompute多租户数据授权模型）MaxCompute集群 多租户数据不搬家，可用不可见公共技术平台One Platform公共数据服务One Data中台后台前台业务DWODPS，ADS统一的大数据技术平台数据共享算法共享知识共享数据安全数

4、据质量数据标准运营管理生态建设统一的数据仓库公共数据产品和数据服务金融营销信用安全风控客服物流搜索成本管理阿里大数据体系架构公共技术平台One Platform公共数据服务One Data中台后台前台业务DWODPS，ADS统一的大数据技术平台数据共享算法共享知识共享数据安全数据质量数据标准运营管理生态建设统一的数据仓库公共数据产品和数据服务金融营销信用安全风控客服物流搜索成本管理运营数据存通用阿里大数据体系架构集群1集群2集群n飞天：一台计算机ODPS：一个计算引擎One Data：一个数据仓库One Service：公共数据服务人群画像特征工程关系库行为库全局元数据管理，全链路血缘跟踪账号

5、，权限，计量完整的数据中台数加对阿里集团业务的支撑阿里集团99.9%的数据和计算跑在阿里云数加平台上面 单集群上万台 支持多集群，全国十多个数据中心 上万 名开发者 几千 个项目 EB 级数据规模 百PB 日计算量应用场景：个性化推荐|风险控制|全集团统一的数据仓库BI机器学习数据可视化存：数据大集中，MaxCompute统一存储和计算通：统一规范，打通各个业务单位用：推动数据开放和交换，促发展，养生态阿里云大数据平台 数加数字娱乐其它领域淘宝天猫AAliexpress电子商务支付宝小贷保险基金蚂蚁金服聚划算高德友盟菜鸟物流物流医疗UC数加对阿里集团业务的支撑数据上云 数据集中存储 大规模计算

6、能力 统一元数据数据资产化 数据整合 数据地图 数据管理 资产计量业务创新 数据化运营 精准营销 互联网金融 智能物流数据生态 数据开放 业务闭环 生态伙伴 运营数据1 12 23 34 4存存通通用用 Data 1.0：DW和BI为主，“看”Data 2.0：数据化运营，“用”Data 3.0：运营数据，“生态”小结：阿里大数据实践之路数加进化史：内部业务锤炼数加对外开放：普惠大数据与合作伙伴共赢目 录content阿里云基础设施然后呢？Data产生大量数据业务系统数加平台的定位和使命阿里云基础设施业务系统|数据