姚滨晖-EB级别体量之下的高效数据赋能（25页）.pdf

1、EB级别体量之下的高效数据赋能资深技术专家姚滨晖阿里巴巴数据服务和数据产品开发平台数据赋能的背景数据服务数据产品开发平台2 31数据赋能的背景我们所处的生态数亿用户EB级数据千万商家千万小微企业电商物流金融云计算文娱健康大数据体系全域数据基础数据建设数据服务基础数据服务标签画像服务人群透视服务算法模型服务服务服务数据产品开发平台数据产品数据大屏数据报表数据分析应用场景阿里小二、阿里商家、消费者、合作伙伴数据服务和数据产品开发平台的关系两者相辅相成数据产品开发平台数据服务数据服务和数据产品开发平台的优势打破业务间的数据壁垒满足灵活多变的数据需求全域流通和按需自助实现数 据 服 务数据 服务 解决

2、 的问 题数据在业务层的全域流通数据接口的重复建设数据获取的及时和稳定高效“数据”能力延伸数 据 服 务 的 核 心 能 力基础数据服务标签画像服务人群透视服务算法模型服务提供上百标签的ID刻画提供上万数据指标跨域获取广告、营销、风控算法模型一键服务化ABCD数据服务的架构PortalQuery EnginePush EngineAlgorithm EngineHSFDSLMonitorConnectorSecurityIDEDAGParallel FrameworkParserMeta ManagementML/DLExplain PlanModel ManagementQuery Engi

3、ne&Push Engine元数据管理逻辑和物理的关系屏蔽数据源差异DAG实现服务逻辑动态编排DSL屏蔽接口差异服务服务服务服务查询查询查询推送1:1“1”:1N:1应 用 实 例DSL&DAGSELECTDISTINCTselect_expr,select_expr.FROM table_referencesWHERE where_conditionGROUP BY col_name|expr|positionASC|DESC,.WITH ROLLUPHAVING where_conditionUNION,UNION ALLselect_exprORDER BY col_name|expr|

4、positionASC|DESC,.LIMIT offset,row_count|row_countOFFSET offsetGoogle Blockly根据用户One ID用户标签查找，结果赋予变量 array_tag用户One ID输入参数定义入参人群圈选服务Long user_one_id 是否必传 默认值结果返回 array_sorted_people对用户人群进行排序，结果赋予变量 array_sorted_people用户人群根据用户用户标签查找相似人群，结果赋予变量array_people用户标签Reference array_tagsReference user_one_idR

5、eference array_peopleAlgorithm EngineRandomForestLogistic RegressionDNNCNNSVMGBDTRNNLSTMPMML ServingTimeseries ServingScikitLearn ServingMachine LearningDeep LearningKmeansNLPPAIParameter ServerMPISparkDSLTensorflow ServingAlgorithm Engine 应用场景：个性化素材审核自动化识别图片内容：模特图or衣架图应 用 实 例 效果自动审核识别图片内容更高效释放人力后台每

6、天有几十万素材，双十一期间大约有百万级别素材需要人肉审核。背景数 据 服 务 的 应 用面向媒体的数据应用面向阿里生态商家的数据应用阿里集团内部业务数据产品开发平台看数据分析数据非开发人员自助实现数据需求跨端数据产品开发平台解决的问题数据产品开发平台架构DSL构建引擎渲染引擎构建引擎MaxcomputeHBaseMySQLDruidPresto数据源组件卡片模版组件开放平台执行引擎业务引擎数据服务服务应用数据分析能力报表配置能力产品配置能力产品开发能力组件编排组件设置业务逻辑