数字营销行业大数据平台云原生升级实战-大数据平台技术论坛（13页）.pdf

1、数字营销行业大数据平台云原生升级实战王可攀CTOContents目录01加和简介03加和数据平台构建的调整02加和的大数据服务挑战媒 体 方 Media(100+)OTVDisplayOTTSSPOOHMore数 据 方(25+)第三方DMP反作弊第一方更多已接入日化/美妆/食品等客户数据用于营销线下创意互动/交易加和服务模式加和数据规模峰值响应500亿+次数据请求技术全网用户实时请求系统瞬时决策高并发支撑日均触达消费者5亿+人次流量帮助品牌客户达成营销目标全年上线5,000+活动运营帮助品牌实现完整活动支持集团客户的100个品牌市场服务超过30个集团100家以上子品牌Contents目录01

2、加和简介03加和数据平台构建的调整02加和的大数据服务挑战服务场景的挑战数据量级大服务运算复杂客户需求多变需求复杂度大计算量起伏大峰值难以预估服务保障要求高活动周期弹性标签处理复杂表设计挑战大算力换时间高峰800亿低谷200亿规律性不强区别于传统DSP业务损失高昂自建大数据架构ECS机构/医生基本信息展示、经营信息展示数据接入Kettle三重监控认证网关认证授权离线集群计算引擎商用数据引擎数据存储OSS商用数据集群实时集群计算引擎自研计算统计模块数据缓存RedisTableau对外服务自研BI自定义SQLKafka历史架构服务痛点计算弹性差数据管理复杂 负载越大越难扩展 应对突发故障困难 增减

3、资源耗时不可控特定计算场景效率低计算消耗难以预估 数据难以划分 调控复杂度高 业务之间依赖高 任务资源争抢 单一引擎无法应对全部计算场景 人员工时占用巨大 成本不可控 计算任务难以和业务打通Contents目录01加和简介03加和数据平台构建的调整02加和的大数据服务挑战调整后架构三重监控认证网关认证授权离线集群计算引擎OLAP数据引擎数据存储OSSMaxCompute实时集群计算引擎自研计算统计模块数据缓存RedisTableau对外服务自研BI 2.0自定义SQLECS数据接入KettleKafkaMC计算引擎DataWorks 计算弹性保障 存储弹性保障 资源解耦 灵活作业管理 多语言UDF开发 数据地图等工具架构调整效果-数据方面日均服务任务数量增长4.5倍部分高耗时任务缩减5倍资源占用调整时间从72小时缩短至0.5小时云上大数据产品对加和价值总结响应业务需求能力提升业务需求服务能力大幅提升，单次服务成本降低业务成本可预估，提升业务服务效率服务稳定性和韧性提升大幅降低资源调整耗时和难度特定计算场景的耗时大幅下降数据团队能力转型从业务运维转化为业务推动从数据分析转向机器学习扩展新应用场景流程自动化和任务管理自动化技术栈和业务的服务的持续优化THANKS