58商业数据应用实践-2.pdf

1、2020.08.18-19 5858同城大数据应用实践同城大数据应用实践 DataFunTalkDataFunTalk 数据架构师钟云云 5858商业数据建设实践商业数据建设实践 一、自我介绍 二、商业数据仓库简介 三、商业数据仓库1.0 四、商业数据仓库2.0 五、商业数据仓库3.0 分享人：余意 目录 教育背景 2003.09至2007.07 学士 北京科技大学 管理信息系统 2007.09至2009.07 硕士 北京科技大学 管理科学与工程 工作经历 近10年数据仓库从业经验，先后做过银行、电商数据仓库系统 3年银行数仓 3年电商数仓 58商业数仓 分享人：余意 自我介绍 一、自我介绍

2、二、商业数据仓库简介 三、商业数据仓库1.0 四、商业数据仓库2.0 五、商业数据仓库3.0 分享人：余意 目录 数据增量25T 作业数2000+ 资源使用30+% 团队规模15+ 分享人：余意 商业数据仓库简介-规模 分享人：余意 商业数据仓库简介-架构 一、自我介绍 二、商业数据仓库简介 三、商业数据仓库1.0 四、商业数据仓库2.0 五、商业数据仓库3.0 分享人：余意 目录 分享人：余意 商业数据仓库1.0-业务背景 业务初创期间，缺少数据 数据爆发式的增长 准确性 稳定性 及时性 分享人：余意 商业数据仓库1.0-技术状况 传输 调度 rsync dsap 及时性问题严重 稳定性不可

3、保障 研发Map/Reduce开发效率较低 稳定性问题 分享人：余意 商业数据仓库1.0-调度升级 定时调度文件依赖58DP 稳定性问题 分享人：余意 商业数据仓库1.0-代码升级 数据逻辑都放在 ODS、DWD层， 依旧采用M/R 逐步改造成hive sql 及时性问题 分享人：余意 商业数据仓库1.0-传输升级 rsyncflume 及时性问题 Map/Reduce优化方法论 setup DistributedCache Hive优化方法论 分享人：余意 商业数据仓库1.0-代码优化 Hadoop节点 准确性：指标标准定义整理 分享人：余意 商业数据仓库1.0-标准指标定义 准确性：监控 分享人：余意 商业数据仓库商业数据仓库1.01.0- -监控监控 SLA 作业完成时间点 表字段质量说明 关键指标监控 流量来源区分 http:/ 829.hao360_101 特殊情况：SEO、ut