【对外版-aicon0523-new】韩云飞-字节-AI+AB.pdf

1、AI+ABAI+AB：智能时代的企业：智能时代的企业创新加速引擎创新加速引擎演讲人：韩云飞字节跳动/A/B测试技术负责人目录目录010203传统传统 A/B A/B 测试是什么测试是什么字节跳动字节跳动 A/B A/B 平台的进化路径平台的进化路径大模型时代的探索和思考大模型时代的探索和思考总结与展望总结与展望传统传统 A/B A/B 测试是什么测试是什么A/B 测试是什么？快速敏捷迭代并精准决策快速敏捷迭代并精准决策，实现复利效应实现复利效应，持续循环增长持续循环增长以用户价值为核心，敏捷测试产品和服务改动效果，不断挖掘创新方向，构建面向用户的持续进化机制以数据为核心，AB测试将企业决策从经

2、验和直觉中解放。通过严谨的实验设计，构建假设-验证-优化的闭环机制，降低决策不确定性。运营从粗放式管理突破，通过严谨的个性化实验设计，构建细致用户画像策略，持续提升运营效率。以数据价值为导向，通过持续、精准的AB测试，构建营销的闭环学习与迭代机制，实现增长营销的可持续优化和创新。用户价值驱动用户价值驱动科学决策科学决策精细化运营精细化运营提升营销效果提升营销效果用户价值驱动科学决策精细化运营提升增长营销效果I什么是A/B实验？ABpagepage18%22%对照版本实验版本同质用户随机分组控制变量对比结果转化提升转化提升A/BA/B测试的本质：降噪纠偏增强人的判断力测试的本质：降噪纠偏增强人的

3、判断力“我们对世界的理解，取决于我们编造故事来解释我们所观察到的事件的能力。并且，我们几乎总是能成功地找到原因，因为我们可以从无数的事实和信念中搜寻原因。如果找不到一个显而易见的原因，我们会在第一时间创造一个解释，以便将我们构建的世界模型中的空白填补上”NOISENOISE字节跳动字节跳动 A/B A/B 平台的进化路径平台的进化路径A/B TestingA/B TestingBytedanceBytedance注：以上数据口径更新至2024.12科学可信的A/B测试与智能优化平台，基于稳定可靠的分流能力、科学完善的统计引擎、智能的调优算法，为业务增长、用户转化、产品迭代、策略优化、运营提效等

4、各个环节提供科学的决策依据，让业务真正做 到数据驱动。助力企业科学决策的助力企业科学决策的A/BA/B测试与智能优化平台测试与智能优化平台340340万万+4000+4000+7 7万万+数百数百实验总量实验总量日增新实验日增新实验同时运行实验同时运行实验服务业务线服务业务线面向业务的实验平台：超大规模复杂场景实验基础设施面向业务的实验平台：超大规模复杂场景实验基础设施大规模(并行7W+)、复杂的实验，具有高并发性(亿级QPS)。提供多种实验类型以适应不同业务场景。统计方法统计方法SLASLA保障保障采用先进的统计方法进行准确分析。确保高SLA的指标管理和建设。具有灵活高效的分析引擎。实验规模

5、实验规模计算资源计算资源定制选项定制选项分析引擎分析引擎利用海量计算资源实现高查询吞吐量。根据各种标准提供个性化定制。实验类型实验类型传统传统 A/B A/B 测试的测试的“天花板天花板”我们的解法我们的解法：AIAI增强的实验平台增强的实验平台AIAI增强的实验平台增强的实验平台：流量智能调优流量智能调优AIAI增强的实验平台增强的实验平台：流量智能调优流量智能调优【实验案例实验案例】动态文案赛马实验动态文案赛马实验四组文案赛马，流量倾斜给表现好的组，B组表现最好，A惨遭淘汰D DB BC CA A点击转化率（相比于均分实验）+9.29.2%【原理优势原理优势】多臂老虎机智能调优多臂老虎机智

6、能调优原理概述：应用场景：使用优势：多臂老虎机智能调优通过不断地探索不同的选项（臂），并根据每个选项的反馈（奖励）来调整选择的概率，逐渐倾向于选择表现更好的选项，从而实现智能调优。0 0 时间成本，及时拿收益；0 0 分析成本，智能化决策0 0 误判成本，最大化收益；0 0 人工介入，释放人力。广告投放策略自动优选运营推送文案赛马MVT多变量组合智能优选落地页动态优选AIAI增强的实验平台增强的实验平台：多元回归多元回归CUPEDCUPED实验扩量场景下方差缩减效果对比AIAI增强的实验平台增强的实验平台：异质异质敏感人群洞察【问题场景问题场景】我想把钱