8-3 科学 AB 实验驱动理性增长.pdf

《8-3 科学 AB 实验驱动理性增长.pdf》由会员分享，可在线阅读，更多相关《8-3 科学 AB 实验驱动理性增长.pdf（34页珍藏版）》请在三个皮匠报告上搜索。

1、AB实验驱动理性增长 刘玉凤 Tencent 数据科学家|01为什么要做AB实验 02AB实验的关键问题 03AB实验如何落地 04AB实验的应用案例 目录 CONTENT|01为什么要做AB实验AB实验能做到什么程度极致的细致极致的细致 测试了测试了4141种不同的蓝色后，谷歌种不同的蓝色后，谷歌把搜索框广告链接定为把搜索框广告链接定为指标表现指标表现最好的那种蓝色，而选用这种蓝最好的那种蓝色，而选用这种蓝色要比其他蓝色每年多为色要比其他蓝色每年多为GoogleGoogle带来带来2 2亿美元亿美元的利润的利润简单的通过标题合并为一个长标简单的通过标题合并为一个长标题，题，BingBing的

2、收入增长了惊人的的收入增长了惊人的12%12%。在没有严重损害关键用户体验指在没有严重损害关键用户体验指标的情况下，当时仅在美国就转标的情况下，当时仅在美国就转化为每年超过化为每年超过1 1亿美元亿美元的收入增加的收入增加意向不到的收益意向不到的收益 每10毫秒（眨眼速度的1/30）的性能改进就足以支付工程师全年的成本。随着Bing性能的提高，就有人质疑性能提高是否还有价值。Bing的团队进行了后续研究，关键用户指标仍有显著提高。每一毫秒的性能提升都比过去更有价值；每四毫秒的改进可以支付一位工程师一年的工资。多个公司都进行了性能实验，结果都表明性能非常关键。在亚马逊，100毫秒的减速实验使销售

3、额下降了1%。Bing和Google的发言人在2009年联合发表的一篇演讲显示了性能对关键指标的显著影响，这些关键指标包括不同的查询、收益、点击、满意度和点击时间。研发性能也能影响研发性能也能影响体验体验对于产品来说不仅仅业务指标重要，产对于产品来说不仅仅业务指标重要，产品性能也很重要。品性能也很重要。BingBing的一名工程师改变的一名工程师改变了了JavaScriptJavaScript的生成方式，大大缩短了发的生成方式，大大缩短了发送给客户端的送给客户端的HTMLHTML，从而提高了性能。，从而提高了性能。A/BA/B实验显示了惊人的指标改进。他们做了一实验显示了惊人的指标改进。他们做

4、了一个跟踪实验以评估对服务器性能的影响，个跟踪实验以评估对服务器性能的影响，结果表明，性能改进还显著提高了关键用结果表明，性能改进还显著提高了关键用户指标，如成功率和成功时间户指标，如成功率和成功时间硅谷的AB实验发展情况微软:(2万亿$）10000+个/天Facebook：(0.5万亿$）10000+个/天 Airbnb：(0.06万亿$）1000+个/天 国内的AB实验发展情况行业领先行业领先建设阶段探索阶段 BAT、滴滴、字节、代表企业代表企业发展情况发展情况 银行：建行银行：建行、招商 车企：一汽大众、游戏没有认知 其他企业 大型、腰部互联网公司 不知道怎么做AB实验，正在把AB平台建

5、起来，还不具备成熟的评估实验结果的能力 已经在做AB实验效率提升，用AB测试控制成本，实现技术和流程的降本增效 正在意识到做AB的重要性，关注如何开展AB，但目前尚未形成直接效果，正在上应用平台 还未意识到AB实验的的意义，或业务体量不支持实施AB实验“一个代差的时间大约是5年左右”AB实验的前世今生2000年，Google工程师将这一方法应用在互联网产品测试中，此后A/B实验变得越来越重要，逐渐成为互联网产品运营迭代科学化、数据驱动增长的重要手段。从国外的Apple、Airbnb、Amazon、Facebook、Google、LinkedIn、Microsoft、Uber等公司，到国内的百度

6、、阿里、腾讯、滴滴、字节跳动、美团等公司，在各种终端（网站、PC应用程序、移动应用程序、电子邮件等）上运行着大量的AB实验。实验组测试方案对照组对照方案随机分组统计检验有效有效A/B测试（A/B实验）又称为受控实验（Controlled Experiment）或者对照实验。A/B实验的概念来自生物医学的双盲测试，双盲测试中病人被随机分成两组，在不知情的情况下分别给予安慰剂和测试用药，经过一段时间的实验后，比较这两组病人的表现是否具有显著差异，从而确定测试用药是否有效。AB实验的核心价值实践数据驱动，精细成本收益0102 定性因果验证因果关系，确保方向正确错误的分析结论导致错误的决策：相关-因果