58大数据应用架构实践-1.pdf

1、2020.08.18-19 5858同城大数据应用实践同城大数据应用实践 DataFunTalkDataFunTalk 高级数据架构师黄世钱 5858同城大数据应用架构实践同城大数据应用架构实践 分享人：余意 目录 业务介绍 58数据应用平台 大数据技术实践 分享人：余意 背景 58业务矩阵:房产、招聘、黄页、交友、二手、宠物、车辆、金融、部落等 每日数千万uv 每日数百亿新增数据 5pb日处理数据量 每日140000+数据任务 核心 价值 量化历史 预测未来 3VS 特征 大量 快速 多样 基础 简单 高效 低成本 分享人：余意 部门业务矩阵 分享人：余意 一站式用户行为分析平台-WMDA

2、智能数据采集功能 智能无埋点 灵活手动埋点 跨端数据收集 埋点验证及测试 场景化数据分析功能 实时流量 多维报表 留存转化 广告监测 渠道运营 行为回溯 WMDA功能描述 项目 Web/H5iOS 简单指标 分群留存漏斗 复合指标 Android 多维 报表 小程序 看板 全埋点 指标 管理 应用 管理 广告 管理 维度 管理 成员 管理 实 时 概 览 智能 路径 合并指标 手动埋点 分享人：余意 WMDA-应用案例 分享人：余意 WMDA数据模型 数据收 集协议 事件 模型 用户 定义 信息 补全 时间 纠错 会话 （Session） 页面浏览（Page）页面浏览（Page） 行为事件 （

3、Action） 行为事件 （Action） 行为事件 （Action） 行为事件 （Action） 页 面 属 性 用 户 属 性 指标匹配 规则 平台 Web/H5小程序APP 类型 页面浏览 页面内元 素点击 手动埋点 分享人：余意 WMDA整体技术架构 项目挑战 百亿超大规模数据 数百分析维度 实时离线结合 即席多维分析 即席多维留存查询 技术挑战-OLAP1.0 目标百亿pv、数亿uv即席聚合查询 数千筛选维度、数十度量 实时和离线保证数据最终一致 OLAP引擎 Kylin、Druid、pinot、clickhouse 准实时摄入 数据覆盖更新 小数据量 简单维度 精准Uv计算 技术挑战-OLAP2.0-Druid功能介绍 查询功能 TimeSeries、GroupBy、TopN、Search、 Select、Scan 查询速度 支持Rollup、预计算、亚秒级 自由控制时间粒度