2019年一站式机器学习平台建设.pdf

《2019年一站式机器学习平台建设.pdf》由会员分享，可在线阅读，更多相关《2019年一站式机器学习平台建设.pdf（34页珍藏版）》请在三个皮匠报告文库上搜索。

1、一站式机器学习平台建设内容大纲配送业务介绍配送业务介绍 即时配送 业务规模A机器学习在配送中的应用机器学习在配送中的应用 Why机器学习 应用场景B美团配送机器学习平台美团配送机器学习平台 演进过程 离线训练平台 模型管理平台 离线/实时特征平台 AB实验平台C美团配送-超大规模即时配送网络美团配送-全球规模最大的外卖配送平台商户骑手用户配送平台单日订单量突破3000万2019Q2 订单量21亿笔日均活跃骑手数大几十万内容大纲配送业务介绍配送业务介绍 即时配送 业务规模A机器学习在配送中的应用机器学习在配送中的应用 Why机器学习 应用场景B美团配送机器学习平台美团配送机器学习平台 演进过程

2、离线训练平台 模型管理平台 离线/实时特征平台 AB实验平台CWhy 机器学习机器学习在配送中的应用效率体验成本时间估计时间估计 全链路时间估计 时间与效率体验平衡定价系统定价系统 骑手邮资、补贴 供需关系LBS系统系统 骑行轨迹挖掘 骑行路径规划调度系统调度系统 订单指派 效率最大化规划系统规划系统 配送区域规划 商家范围规划多传感器融合多传感器融合 WIFI、蓝牙、加速器、陀螺仪、气压计 地理围栏、室内定位、运动状态识别内容大纲配送业务介绍配送业务介绍 即时配送 业务规模A机器学习在配送中的应用机器学习在配送中的应用 Why机器学习 应用场景B美团配送机器学习平台美团配送机器学习平台 演进

3、过程 离线训练平台 模型管理平台 离线/实时特征平台 AB实验平台C1、美团配送机器学习平台演进过程演进过程-MVP阶段迭代效率低下算法之间难以协同演进过程-平台化阶段（图灵平台）Hadoop/YarnSparkMLXGBoostTensorFlow离线训练平台实时特征平台AB实验平台模型管理平台版本管理平台统一模型训练和资源分配，避免重复轮子统一的特征平台，保证特征口径一致离线特征平台AB实验平台，确保实验效果科学公正目标-一站式服务离线离线在线在线Hive日志实时日志数据处理特征库模型EndPoint部署OnlineServing统一埋点在线策略数据处理训练数据集模型训练模型评估特征库获取

4、数据获取数据模型训练模型训练模型评估模型评估模型发布模型发布&在线预测在线预测效果评估特征生产特征生产采样过滤归一化标准化模型训练模型训练分类回归聚类深度学习模型评估模型评估AUCMSE/MAEF1模型部署模型部署一键部署本地模式远程模式分区模型在线预测在线预测AB实验灰度发布统一埋点效果分析2、离线训练平台离线训练平台离线训练平台模型管理平台模型注册线上服务动态模型选择实时特征离线特征上下文特征预处理模型训练模型评估MLDL模型管理在线策略分流自动获取特征自动获取特征预处理模型调用预处理模型调用自动埋点部署节点状态模型发布MLDL打通离线训练和在线预测，贯穿整个机器学习平台线下训练线上服务输

5、出结果输入请求目标：搭建可视化训练平台，屏蔽多个训练框架的差异，降低算法RD的接入门槛离线训练平台-可视化离线训练平台-可视化模型一键发布模型特征映射，在线预测模型自动获取特征3、模型管理平台模型管理平台模型管理平台模型管理平台训练平台SparkMLTensorFlowXGBoost模型调度器模型状态机指令中枢资源路由HDFSMetaStoreMySQL业务服务A(节点1)ModelAgent模型数据预测模块业务服务A(节点2)ModelAgent模型数据预测模块业务服务A(节点3)ModelAgent模型数据预测模块ModelServer(节点1)ModelAgent模型数据预测执行Mode

6、lServer(节点2)ModelAgent模型数据预测执行ModelServer(节点3)ModelAgent模型数据预测执行业务服务B(节点1)ModelAgent模型数据预测Facade业务服务B(节点2)ModelAgent模型数据预测Facade业务服务B(节点3)ModelAgent模型数据预测Facade本地模式远程模式模型管理平台-本地计算VS分布式计算本地模式远程模式占用业务服务器资源本地计算性能高无额外网络开销适合单节点集中存放的小模型高度并行化异构计算资源(GPU+CPU)额外网络开销适合分片存储的超大规模模型模型管理平台-模型Sharding单机无法装载超大模型业务服务

7、ModelAgent预测Facade路由ModelServer(节点1)分区模型2分区模型1分区模型4分区模型3ModelServer(节点2)分区模型2分区模型1分区模型6分区模型5ModelServer(节点3)分区模型4分区模型3分区模型6分区模型5按照配送区域按照配送区域/城市进城市进行分区训练，每个区域行分区训练，每个区域/城市产出一个小模型城市产出一个小模型4、离线/实时特征平台离线特征平台线下线上配送业务时间预估配送费定价智能调度骑手补贴定价骑手语音助手配送范围规划配送区域规划天平爆单骑手画像路线熟悉度个人承载能力骑手行为模型商家画像取餐难度出餐时间品类体积用户画像精准交付点交付

8、难度城市画像地理路况区域画像供需平衡大数据平台目标：将线下的特征应用到线上，支撑配送各个业务高并发及算法快速迭代实时特征平台目标：实时收集线上数据，计算提炼成算法所需要的特征，支撑配送各个业务高并发及算法快速迭代5、AB实验平台AB实验平台不同算法版本不同参数目标：更快更好地验证算法的效果商户骑手用户配送AB实验特点传统AB实验配送AB实验配送平台涉及到用户、骑手、商家三端，请求不独立，相互影响，策略效果滞后，线下因素影响大面向C端用户进行流量选择，假设请求独立同分布，要求分流的id唯一稳定，均匀随机AB实验平台-三个阶段实验后AB实验平台-三个阶段按照区域、城市、骑手、geohash、商家等

9、维度拆分对照组和实验组，计算各分组的业务指标，保证分组之间在业务指标上无显著差异分组算法：贪心、动态规划等AA分组支持实验组和对照组按照时间片进行轮转切换支持自定义表达式，对流量进行准入控制统一埋点日志AB分流搭建指标评估体系，统一指标计算口径，确保实验效果的权威性自助产出AB实验报告，方便高效效果评估AB实验平台-分时间片对照6、总结与展望现状与未来现状未来目前图灵平台覆盖了美团配送绝大部分算法的离线训练、在线预测、AB实验等，显著提高了算法RD的效率，使之更加关注算法策略本身的迭代优化模型训练深度化在线预测平台化进一步解耦算法和工程加强深度学习的建设模型训练深度化深度学习模型训练深度化在线预测平台化工程服务1图灵平台轻SDK工程服务2图灵平台轻SDK图灵平台插件框架算法包资源池1算法包1版本1算法包1版本2算法包资源池2算法包2版本1算法包2版本2版本管理/AB实验特征模块模型模块埋点模块算法引擎服务解耦算法和工程算法包动态加载无算法包化