2018年微博深度学习平台架构和应用实践.pdf

1、目录1.微博篇2.平台篇3.应用篇1目录微博用户和内容规模业务生态和技术里程碑平台背景平台架构平台效果推荐应用推荐应用架构内容理解应用内容理解架构微博篇WEIBO微博、用户和内容规模、业务生态和技术里程碑1 11 微博微博中国最大的社交媒体平台微博是一个基于社交关系和社交媒体的信息分享、传播以及获取的平台微博建立一个以内容为纽带，连接人和人、人和组织、人和物、人和兴趣的社交媒体网络名人媒体政府视频游戏影视企业LBS话题2 用户和内容规模日活跃用户 1.95亿月活跃用户 4.46亿移动端占比 93%以上数据基于2018Q3财报用户规模内容规模#世界杯#短视频播放总量170亿相关话题阅读量1000

2、亿用户总互动量超过10亿以上数据基于2018Q2财报3 业务生态和技术里程碑业务生态关注/兴趣优质内容普通用户优质用户理解3 业务生态和技术里程碑技术里程碑2008年Hadoop2009年微博Feed2010年开放平台2013年大数据2015年机器学习2016年机器学习平台2017年大规模机器学习深度学习平台2018年大规模在线机器学习平台篇PLATFORM平台背景、平台架构和平台效果1 21 平台背景 平台背景-深度学习 数据规模越来越大，特征工程人力成本高，机器学习表征能力瓶颈 非结构化数据指数增长1 平台背景 平台背景-平台化成本效率效果实时机器人力时间开发运行迭代规模深度2 平台架构计

3、算深度学习平台用户向量内容向量文本分类Hadoop/Spark集群高性能GPU集群Hdfs/OdpsTensorFlow/Caffe图像/视频分类CPU计算集群业务Yarn/K8s调度Docker存储PS/WeiPS模型推理WeiServing模型库模型训练WeiLearn模型评估模型训练模型推理样本库样本库样本标注多媒体流多媒体特征库多媒体流端推理端推理端优化2 平台架构-深度学习工作流模型部署模型预测业务数据特征处理模型预测样本生成模型训练特征处理模型训练数据传输模型评估业务评估2 平台架构-深度学习工作流 深度学习工作流框架：WeiFlow 统一数据计算框架 双层DAG，兼容异构环境no

4、denodenodenodehivetensorflowsparkinputprocessoutputTextCsvLibsvmParquetOrcJson数据统计数据清洗特征组合样本采样模型训练模型评估模型部署2 平台架构-深度学习工作流-深度学习模型训练 深度学习模型训练：WeiLearn 配置化开发：语言化开发、图形化开发 自定义扩展2 平台架构-深度学习工作流-深度学习模型训练 深度学习模型训练：WeiLearn样本库WeiLearn-深度学习模型训练CTR样本自然语言样本视频与图像样本样本处理CTRNLP图片视频VGGYoloinceptionresnetGRULSTMWide&De

5、epDeepFMDeep Cross NetworkSpark超参数资源算法BERT配置Tensorflow2 平台架构-大规模深度学习 大规模机器学习 实践证明：机器学习规模越大，效果越好几百特征，千万样本CTR：+4.3%人均刷新：+0.1%几万特征，几十亿样本CTR：+11.2%人均刷新：+2.1%几百万特征，几百亿样本CTR：+12.2%人均刷新：+4.2%规模：几千亿样本、几十亿特征2 平台架构-大规模深度学习-通信优化clusterSpecTF_CONFIGParamaterServer2 平台架构-大规模深度学习-通信优化Horovod(Uber)MPI&RingAllreduc

6、eRingAllreduce：每个 N 节点与其他节点进行 2*(N-1)次通信，网络最优化（百度）2 平台架构-大规模深度学习-通信优化单机多卡 allreduce&in-graph=MirroredStrategy多机多卡 allreduce&between-graph=CollectiveAllReduceStrategy多机多卡 ringallreduce=horovodDistributionStrategy APIPS&MPI2 平台架构-大规模深度学习-文件IOBuffer0Buffer1Buffer2Buffer3HDFSMultipro