2017年美团点评用户行为分析系统的构建与优化.pdf

1、美团点评用户行为分析系统的构建与优化美团点评数据平台团队问题分析算法思路工程实现性能优化总结问题背景Growth HackingAcquisition用户获取Activation激活注册Retention活跃留存Referral推荐分享Revenue变现模式转化率转化率分析（有序漏斗）路径：首页-搜索-菜品-下单-支付日期：2017-11-11时间窗口：1小时城市：北京操作系统：iOSpage=下单页 and price 100page=支付成功page=首页page=搜索页 and keyword=中餐page=菜品页2017.11.11北京市iOS1小时数据探查UUIDtimestampp

2、agecitykeywordAAA100首页北京AAA102搜索页北京中餐AAA130菜品页北京BBB102首页北京BBB103首页北京BBB140搜索页北京西餐CCC101首页上海CCC110菜品页上海CCC151搜索页上海中餐直观解法1：Joinselect count(distinct t1.id1),count(distinct t2.id2),count(distinct t3.id3)from(select uuid id1,timestamp ts1 from data where timestamp=1510329600 and timestamp=1510329600 and

3、 timestamp 1510416000 and page=搜索页 and keyword=中餐)t2on t1.id1=t2.id2 and t1.ts1 t2.ts2 and t2.ts2-t1.ts1=1510329600 and timestamp 1510416000 and page=菜品页)t3 on t1.id1=t3.id3 and t2.ts2 t3.ts3 and t1.ts1 t3.ts3 and t3.ts3-t1.ts1=1510329600 and timestamp 1510416000group by uuid几亿个UUID的聚合没有高效的过滤条件问题难点事

4、件有序序列匹配运算复杂度超过普通的集合运算时间窗口最大长度约束下的序列匹配丰富属性埋点完全开放属性基数超百万维度下钻分析数据规模单天日志数百亿条时间跨度6个月坏消息1.完全随机的漏斗定义-事件组合、时间窗口完全随机-不能实现完全预计算2.不同粒度的深入分析-多个层次维度，事件附加属性-需要OLAP下钻和筛选能力3.规模与性能的矛盾-在海量数据下实现交互式分析好消息1.支持能力：模式相对确定-核心是集合运算和去重计数-不需要完整的SQL能力2.使用场景：查询并发度低-主要是人工探索式分析-可以调度所有资源3.数据特点：入库不会修改-可能构建索引4.业务特点：指标收敛较快-重点分析转化率偏低的场景

5、-可能快速过滤问题本质多维分析和序列匹配下的去重计数实现目标实现多维分析和序列匹配下的去重计数、支持海量数据、交互式响应、可能利用索引或有限预处理等手段、充分利用资源的算法和系统问题分析算法思路工程实现性能优化总结对应策略实现多维分析和序列匹配下的去重计数、支持海量数据、交互式响应、可能利用索引或有限预处理等手段、充分利用资源的算法和系统根据多个维度做筛选UUID内事件按照时间排序漏斗每层节点符合条件的UUID计数数据探查UUIDtimestamppagecitykeywordAAA100首页北京AAA102搜索页北京中餐AAA130菜品页北京BBB102首页北京BBB103首页北京BBB14

6、0搜索页北京西餐CCC101首页上海CCC110菜品页上海CCC151搜索页上海中餐UUID的事件没有排序序列匹配困难数据整理UUIDevent1event2event3 event nAAAts=100 page=首页 city=北京ts=102 page=搜索页 city=北京 keyword=中餐ts=130 page=菜品页 city=北京BBBts=102 page=首页 city=北京 ts=103 page=首页 city=北京ts=140 page=搜索页 city=北京 keyword=西餐CCCts=101 page=首页 city=上海ts=110 page=菜品页 ci