2刘思中AICon-eBay智能营销中的AI一体化大数据平台实践.pdf

1、eBay智能营销中的AI一体化大数据平台实践刘思中eBay资深技术经理eBay的智能营销eBay智能营销的机器学习训练平台eBay智能营销的模型A/B测试平台未来展望eBay智能营销的特征平台eBay智能营销场景与系统多渠道营销广告营销消息营销社交营销营销漏斗全覆盖品牌推广用户培养营销转换eBay大数据生态与算法应用数据丰富且体量巨大每天消费数据 1PB计算资源丰富vs.性价比离线计算、实时计算CPU vs.GPU最后一公里的解决方案通用性 vs.专业性eBay智能营销机器学习生命周期数据挖掘探索模型训练部署模型测试评估模型上线数据质量特征打造离线、在线数据一致性模块编排工程质量开发部署一致性

2、快速测试指标质量可视化洞察无缝上线快速迭代持续监测eBay的智能营销eBay智能营销的机器学习训练平台eBay智能营销的模型A/B测试平台未来展望eBay智能营销的特征平台eBay智能营销特征平台(FeatureLake)特征计算的挑战开发周期长，占用模型开发生命周期60%以上的时间特征开发与生产上线不一致离线特征与在线特征不一致复用率低、难于搜索已有特征特征平台的机会有限数据源（100)有限数据聚合转换(80%重复）eBay智能营销特征平台(FeatureLake)数据源定义特征领域+键（key)历史回溯时间最小聚合粒度特征定义TransformerFeatureSet场景1数据源一致聚合时

3、间粒度相同（离线数据无聚合）回溯历史较短(14d)eBay智能营销特征平台(FeatureLake)场景2数据源一致聚合时间粒度不同(特征数据源）回溯历史14d场景3数据源不一致eBay智能营销特征平台(FeatureLake)离线特征与NRT特征不一致性再探数据计算架构 Lamda vs.Kappa不可能三角：数据实时性 vs.窗口历史回溯长度 vs.窗口时间精度特征工程的其他重要功能Replay&Point-in TimeFeature Driver Set特征生命周期管理eBay的智能营销eBay智能营销的机器学习训练平台eBay智能营销的模型A/B测试平台未来展望eBay智能营销的特征

4、平台eBay智能营销机器学习训练平台算法团队心中的理想环境支持多异构环境（Python/Spark,CPU/GPU)数据获取的简易型与一致性(FeatureLake)开发与生产环境的一致性无缝地完成从训练到上线模型管理+代码质量管理+版本管理支持工具(开发、编排、监测）eBay智能营销机器学习训练平台模型协同开发基于Github的模型源代码+版本管理模型模块化+协作开发模型元数据定义(yaml)统一集成部署多租户空间隔离eBay智能营销机器学习训练平台模型编排基于Airflow的工作流引擎统一模型模块接口使用airflow扩展，提供模型开发工具(SparkSubmit,Xpark等)低代码Au

5、toML方案（Ludwig)eBay智能营销机器学习训练平台计算集群多样性离线统计模型 Spark/Hadoop/Python神经网络模型 GPU集群特殊需求-独享集群特殊版本独占资源eBay智能营销机器学习训练平台模型运行监测运行状况、时长、失败率资源使用情况(Yarn log)离线测试在线模型发布容器化部署eBay的智能营销eBay智能营销的机器学习训练平台eBay智能营销的模型A/B测试平台未来展望eBay智能营销的特征平台eBay智能营销模型A/B测试平台模型与A/B测试正式上线的最后一环真实数据的模拟与收集模型A/B测试的难点快速集成测试指标的自动化计算在线实时分析和可视化eBay智

6、能营销模型A/B测试平台数据数据源统一数据计算方式统一数据质量保证数据洞察及时性可视化eBay智能营销模型A/B测试平台指标数量多、增长快、变化迅速100+基础指标（参与度、GMB、行为、算法模型指标）N渠道 x 时间窗口 x 归因逻辑=1500+最终指标评估方法灵活、可扩展分组平衡、置信度、异常报警实时多维度分析eBay智能营销模型A/B测试平台在线实时分析多维度分析、动态capping、Lift与置信度计算百亿级数据+秒级查询基于开源列式OLAP数据库引擎的定制方案及其优