4.微博基于Flink的机器学习实践_final_version_v2的副本.pdf

《4.微博基于Flink的机器学习实践_final_version_v2的副本.pdf》由会员分享，可在线阅读，更多相关《4.微博基于Flink的机器学习实践_final_version_v2的副本.pdf（17页珍藏版）》请在三个皮匠报告上搜索。

1、于茜 微博机器学习研发中 微博基于Flink的机器学习实践 Agenda 1关于微博关于微博 微博机器学习平台（微博机器学习平台（WMLWML）总览）总览 FlinkFlink 在在 WMLWML 中的应中的应 2 3 使使 FlinkFlink 的下步计划的下步计划4 关于微博 2008年上线 中国最的、最流的社交媒体平台 提供们在线创作、分享和发现优质内容的服务 规模机器学习平台可持千亿参数，百万QPS 222M DAU 516M MAU 微博机器学习平台 (WML) 总览 W M L 离线计算集群集群性能计算集群在线计算集群 在线推理WeiServing (研)WeiPS (研) 计算平

2、台 WeiLearn (研) Flink/StormHadoop/SparkTensorFlow 模型训练LRDNN/RNNFM/FFMGBDTCF/MF 模型库 WeiClient WAIC UI 样本库 服务库 调度 WeiBox (研) K8sYarn Weiflow (研) 业务应特征成在线训练样本服务在线推理 机器学习平台(WML)为CTR、多媒体等各类机器学习和深度学习算法提供从样本处理、模型训练、服务部署到模型预估的 站式服务 双层DAG设计: WeiLearn Input Process Output Source Process Sink WeiFlow Task TaskT

3、ask Task 微博机器学习平台 (WML) 开发模式 1.02.03.04.05.0 WeiLearn 6.0 持参数规模 业务模型数量 模型服务峰值 模型更新周期 monthly 50k 10+ 100M 10min 950k 190+ 100B WeiLearn weekly 100k 20+ 1B weekly 230k 30+ 2B daily 550k 80+ 10B + LR+ GBDT+ DNN Offline machine learning: LR Offline machine learning: LR GBDT GBDT+LR Offline machine learning: LR GBDT GBDT+LR Deep learning: Wide&Deep + Online FM+ Online DNN Online deep learning: Enforc