实验科学在云音乐落地实践-沐德.pdf

《实验科学在云音乐落地实践-沐德.pdf》由会员分享，可在线阅读，更多相关《实验科学在云音乐落地实践-沐德.pdf（22页珍藏版）》请在三个皮匠报告上搜索。

1、2023 DataFunCon2023 DataFunCon实验科学在云音乐落地实践实验科学在云音乐落地实践演讲人：沐德演讲人：沐德-网易云音乐网易云音乐-资深算法平台研发工程师资深算法平台研发工程师目录目录平台基建指标基建实验科学性实验效率C Contentsontents02 02 平台基建平台基建平台基建云音乐天秤实验平台致力于打造业内领先的一站式云音乐天秤实验平台致力于打造业内领先的一站式 AB AB 测试平台，实验测试平台，实验管控管控&效果评估效果评估一体化，助力产研、运营一体化，助力产研、运营快速实验、精准决策快速实验、精准决策。天秤在分流计算、指标计算、数据评估各方面尝试更多创

2、新：天秤在分流计算、指标计算、数据评估各方面尝试更多创新：无状态、全内存计算、无状态、全内存计算、性能更高性能更高；高检测灵敏度，样本需求更少，；高检测灵敏度，样本需求更少，存储计存储计算更优算更优；多维度检验，实验；多维度检验，实验评估更科学、更准确评估更科学、更准确。现阶段，。现阶段，基于基于 Doris Doris 打造端到端全链路实验分析产品与套件，构建打造端到端全链路实验分析产品与套件，构建高性能、亚秒高性能、亚秒响应延迟响应延迟的分布式分析型数据库，满足在实验全链路诊断稽查、实验数据处理与分析等核心诉求。的分布式分析型数据库，满足在实验全链路诊断稽查、实验数据处理与分析等核心诉求。

3、对标业内对标业内&技术技术创新创新02 02 指标基建指标基建指标基建指标指标模型设计模型设计 可测量、可计算、可可测量、可计算、可收敛、灵敏、指向性收敛、灵敏、指向性好好指标指标模型开发模型开发 开发、调试、运维成本及开发、调试、运维成本及效率效率指标生产与查询指标生产与查询 成本与效率、可监测、可回溯、成本与效率、可监测、可回溯、即席查询即席查询03 03 实验科学性实验科学性实验科学性-关键因素影响实验科学性的关键因素？影响实验科学性的关键因素？实验分流实验分流统计功效统计功效指标值稀疏指标值稀疏统计显著性统计显著性最小样本量最小样本量实验观测周期实验观测周期实验实验AAAA检测检测实验

4、文化实验文化指标异常值指标异常值系统波动系统波动实验方案设计实验方案设计样本样本-均匀分流均匀分流指标指标-正确计算正确计算效果效果-科学评估科学评估决策决策-有效执行有效执行实验科学性-均匀分流-SRM问题（Sample Ratio Mismatch）.实验流量分配不实验流量分配不科学科学人群选择、流量分配不科学，流量扩量不人群选择、流量分配不科学，流量扩量不规范规范.实验前用户状态实验前用户状态偏差偏差实验二次进入用户状态偏差，方案实验二次进入用户状态偏差，方案问题问题.实验日志上报漏报、实验日志上报漏报、错报错报常见于工具漏洞，优化工具达到常见于工具漏洞，优化工具达到收敛收敛.实验策略实

5、验策略/漏洞影响漏洞影响留存留存策略或者策略或者漏洞影响到组内用户留存漏洞影响到组内用户留存.风控、风控、反垃圾反垃圾策略导致组内用户策略导致组内用户“异常异常”活跃活跃SRMSRM问题问题-归因归因.分流算法分流算法不随机不随机分流算法优化（随机性、分流算法优化（随机性、正交性），控制错误概率正交性），控制错误概率案例分享：案例分享：1.A1.A实验实验-特殊需求，滥用灰度功能导致实验组流量特殊需求，滥用灰度功能导致实验组流量污染污染2.B2.B实验实验-增加歌单头部位置付费歌曲比重，增加歌单头部位置付费歌曲比重，场景人群场景人群流失流失3.C3.C实验实验-权益激励，实验组策略激进，触发风

6、控，丢失权益激励，实验组策略激进，触发风控，丢失样本样本实验实验SRMSRM问题带来的高昂排查和分析成本，显著阻碍实验效率问题带来的高昂排查和分析成本，显著阻碍实验效率实验科学性-均匀分流-SRM问题（Sample Ratio Mismatch）SRMSRM问题问题-预防（避免引入）预防（避免引入）HashHash算法算法计算耗时计算耗时1000w uuid1000w uuid正交性误差正交性误差-1-1层层1000w uuid1000w uuid正交性误差正交性误差-2-2层层1000w uuid1000w uuid正交性误差正交性误差-3-3层层1000w uuid1000w uuidmu