网易云音乐-陈赢-助力算法效果效率双增长引擎-云音乐磐石机器学习平台.pdf

1、助力算法效果效率双增长引擎网易云音乐磐石机器学习平台陈赢 网易云音乐 资深算法平台工程师陈赢陈赢资深算法平台工程师“18年加入网易云音乐，从事搜索推荐算法工程系统、平台研发工作，先后主导了在线投放系统、在线精排系统研发，从0到1构建模型实时化项目、FeatureStore特征平台，并基于MLOps理论研发符合云音乐生态的磐石机器学习平台，提供从特征样本生产、模型训练、模型评估、模型部署、模型推理等一站式全流程机器学习平台，助力云音乐算法在商业化与内容分发侧效果提升，荣获了集团1024创新技术奖。”讲师简介目录目录目录CONTENT01云音乐算法云音乐算法业务背景业务背景02云音乐磐石机器学习平

2、台云音乐磐石机器学习平台03云音乐模型实时化实践云音乐模型实时化实践泛化模型实时化能力，快速覆盖多种场景特征实时、模型实时快速捕捉变化，提升核心效果指标多场景、多团队协作、精细化运营面临着工程挑战亮点介绍基于业界MLOps理论，结合云音乐自身业务、技术特点，从机器学习全流程各个环节-特征样本、训练、评估、推理等来分析问题，定制化开发系统与平台来解决。模型实时化01模型实时化如何提升实时推荐场景分发效率特征工程02特征工程如何解决特征共享、特征一致性等问题训练&推理&诊断03统一训练框架、高性能抽取推理与更全的模型诊断评估案例背景案例背景介绍介绍农村自建房 35个人 铁锹、小推车、砖刀 线尺 材

3、料差异大、难以复制案例背景-同样是建房子在不同情景下的差异城市高楼大厦 几十上百人、各领域专业人士 大型吊塔、混凝土泵车等先进工具 标准化的尺寸图纸、精密的测量仪 可复制模块化结构案例背景-算法在不同时期情景下的也表现着巨大差异提升提升云音乐算法在支撑商业化、内容分发商业化、内容分发业务时的建模效率建模效率，助力算法效果提升效果提升。产品初期产品初期DAU10W级别全场景不超过10个、算法2-3人采用十几个特征，简单的DNN，算法完全自主完成建模上线，工程侧更多聚焦在线服务。产品成熟期产品成熟期云音乐DAU几千几千WW级别几十几十算法场景、几百几百模型、多个多个算法团队如果没有全流程工程化系统

4、、平台支撑，就会出现特征失控、复杂的DNN上不去、周期拉的很长很长、算法效果受制约受制约。VS云音乐产品在发展不同阶段下算法的建模表现云音乐产品在发展不同阶段下算法的建模表现问题与挑战-多场景、多团队协作、精细化运营对工程上效果和效率挑战模型能力受限模型能力受限3实时化程度低实时化程度低1建模效率低建模效率低2由于业务快速发展，相应的系统能力没有跟上，如计算性能、一致性、特征太大、穿越等问题，导致算法模型没有发挥出更大的价值云音乐大部分的业务场景还在使用T+N的数据，无法有效的反应用户的实时兴趣变化，推荐用户感兴趣的内容。云音乐业务成矩阵式的快速发展，历史包袱重，每个算法团队烟囱式开发，导致新

5、业务无法快速落地。平台演进思路平台平台演进演进过程过程20202020202120212022202220232023算法实时化算法实时化落地落地实时化机器实时化机器学习平台学习平台MLOpsMLOps机器学习平台机器学习平台大模型大模型+LLMOpsLLMOps从驱动业务增长出发，和算法团队一起深入具体的业务场景探索算法实时化方案落地，以提升模型效果。为了将算法实时化的收益快速复制到其他业务场景，我们沉淀了基于实时特征存储、实时预估快照、实时模型训练为底座的实时化机器学习平台。基于MLOps理论，建立覆盖算法建模全流程的端到端机器学习平台，保证算法模型质量和效果，提升算法团队生产效率。紧跟业

6、内先进AI技术，支持跨膜态、LLM等预训练大模型的训练、部署和服务套件，以帮助算法团队将其AI能力工程化落地到业务。以实时化助以实时化助力业务增长力业务增长实时化能力实时化能力快速复制快速复制全链路建模全链路建模降本增效降本增效AIGC工程化工程化落地到业务落地到业务从业务出发逐步打磨平台能力从业务出发逐步打磨平台能力模型实时化实践模型实时化实践2FeatureLabelModel特征、样本、模型实时快速捕获变化，提升核心指标效果实时特征快照实时样本归因模型增量训练模型实时化实践-推荐场景分析-User与Item变化极快云音乐新业务发展迅速，推荐场景诞生了许多全新的业务形态。直播推荐不同与歌曲