分享版 大数据与AI平台 于翔 微博大规模深度学习平台实践.pdf

1、微博大规模深度学习 平台实践 内容概览 01微博简介 02微博深度学习平台 03 大规模深度学习实践 04深度学习业务解决方案 微博简介 微博简介 微博 中国领先的社交媒体平台 日活跃用户DAU 2.41亿 月活跃用户DAU 5.5亿 移动月活占比 9494% 微博简介 普通用户优质用户 优质内容 关注 内 容 理 解 AI 微博机器学习平台WML 微博深度学习平台 微博深度学习平台 微博机器学习平台WML-演进 950k 1.0 2.0 3.0 4.05.0 WeiLearn 6.0 支持参数规模 业务模型数量 模型服务峰值 模型更新周期 月级 50k 10+ 100M 1分钟 190+ 1

2、00B WeiLearn 周 100k 20+ 1B 周 230k 30+ 2B 天 550k 80+ 10B + LR+ GBDT+ DNN 离线ML: LR 离线ML: LR GBDT GBDT+LR 离线ML: LR GBDT GBDT+LR 深度学习: Wide&Deep + Online FM+ Online DNN 在线深度: 加强实时模型的表达能力 Online DeepFM DIN DIEN 强化学习： DDPG + FM 在线ML： Onilne FM/FFM 离线ML： LR/GBDT/GBDT+LR FM/MF 深度学习： Wide&Deep DeepFM DSSM 离线

3、ML: LR GBDT GBDT+LR FM MF 深度学习: Wide&Deep 机器学习平台经过历次迭代，目前支撑的参数规模达万亿级，服务峰值达百万QPS，模型更新达秒级 微博机器学习平台WML-架构 WAIC UI服务 WeiClient服务 多媒体特征生成 特征生成服务 物料生成服务 物料召回服务 物料库服务 样本服务 SQL计算服务 Flink实时计算服务 Storm实时计算服务 机器管理服务 WAIC工作流 异构集群调度 WAIC控制中心 WeiOSS/HDFS 数据仓库服务队列服务元数据服务 Weidis/Redis/PikaWeiSS/ES AI接口服务CTR模型服务 多媒体模型服务 GPU容器服务 模型参数服务 机器学习训练服务深度学习训练服务 机器学习解决方案深度学习解决方案 向量召回解决方案内容去重解决方案 在线服务解决方案 物料及生成解决方案 推荐流直播用户增长广告