3-4 分贝通大数据体系建设经验分享.pdf

《3-4 分贝通大数据体系建设经验分享.pdf》由会员分享，可在线阅读，更多相关《3-4 分贝通大数据体系建设经验分享.pdf（19页珍藏版）》请在三个皮匠报告上搜索。

1、分贝通大数据体系建设经验分享吴荣彬 分贝通大数据负责人|01公司介绍公司介绍分贝通的业务模式02大数据建设背景大数据建设背景大数据建设的业务需求和技术需求03大数据建设方案大数据建设方案分贝通大数据建设思路及现状04大数据应用场景大数据应用场景大数据如何赋能业务场景案例目录目录CONTENT|公司介绍分贝通公司的业务模式01|公司介绍FBT Introduction|l成立于2016年3月，用一个账户管理企业的全部费用支出，是整合“软件+支付”的下一代企业支出管理平台；l支持App付、虚拟卡付、网银付三种企业支付方式，覆盖商旅用餐、办公采购、补助福利、备用金、员工报销和对公付款6大企业支出场景

2、；l2022年2月融资1.4亿美金，累计融资规模超20亿RMB，目前估值10+亿美金；l有员工近1000人，总部在北京，在上海、广州、深圳、杭州、成都设立分支机构，服务了数千家的中小型企业客户。大数据建设背景大数据建设的业务需求和技术需求02|建设背景Bigdata Construction Background1.认知2.教育3.选择4.交付5.使用6.增购业务部门（销售/渠道/市场/客户成功）精准营销优质线索获取线索动态评分线索分簇群打法线索转化看板运产部门（商城/商旅/费控/支付）职能部门（产研/人力/财务）埋点数据需求个性化搜索推荐客户档案财务报表分析员工之声-VOE产品体验智能化运营

3、智能商旅运营指标看板客户的使用场景（Use Case）客户之声-CEM/VOC客户流失预警客户健康度衡量Call To Action客户旅程技术选型Technology Selection|业务考虑点团队初步建立，人手比较匮乏，因此要求整个架构要易于运维管理，功能性尽可能统一，有更多的精力和时间在业务思考和数据赋能的应用上业务发展相对成熟，现阶段对数据的需求普遍比较紧急，需要快速拿到结果 技术考虑点业务数据全部上云，数据传输便利性业务来源表数上千张，数据量在TB级别（中等规模），实时性要求不高方案成本性能易用性扩展性安全性可靠性MC+Flink+Holo高（按量付费）高（阿里自研）高（开箱即用

4、）高（弹性）高（多租户隔离）高（阿里自研）EMR中（按量付费）中（开源优化）中（可配置）中（弹性）中（多租户隔离）中（专业兼容性测试）自建Hadoop集群低（固定成本）低（纯开源）低（部署复杂）低（固定）低（自建）低（版本兼容性验证，BUG修复等）优优优优优优大数据建设方案分贝通大数据建设思路及现状03|分贝通大数据体系架构FBT Bigdata Framework|1.多源数据对接2.数据清洗（数据标准化，OneID，异常数据清洗）7.数据即服务5.数据分析6.数据可视化8.数据应用3.数据存储和计算（离线+实时）作业调度pipeline数据安全数据运维数据权限4.数据仓库建设商旅用餐业务大

5、类办公采购补助福利.数据域订单域客户域营销域.指标体系经分类运营类营销类.数据集市财务主题运营主题市场主题.标签系统、数据挖掘数据BI看板、实时大屏数据服务、模型服务组 织数据架构组上线评审委员会流 程需求评审流程设计评审流程数据上线流程故障处理流程规 范数据埋点规范需求管理规范数据建模规范质量管理规范数据建模Data Modeling|数仓规划业务大类设计数据域&业务过程设计原子&派生指标定义维度建模模型发布技术架构Technical Framework|业务系统元数据元数据元数据业务库业务日志实时同步离线同步ODSDWDDWS/TDMAPP明细数据加工汇总数据加工应用数据加工离线计算链路(

6、MaxCompute)实时计算链路(Flink)数据应用链路明细数据加工汇总数据加工HologresES数据服务明细指标特征标签DataHubHologresMySQL数据地图数据安全数据治理数据建模.数据采集链路BI看板数据应用Dataworks数据集成Dataworks开发和治理机器学习流程-Batch ModeMachine Learning Pipeline of Batch Mode|Dataworks数据集成服务业务数据(MySQL)样本数据处理&特征工程（Maxcompute）模型开发&训练(PAI-DSW&PAI-DLC)Web Service模型在线服务(PAI-EAS)OD