2020年终大会-大数据架构：5-3.pdf

《2020年终大会-大数据架构：5-3.pdf》由会员分享，可在线阅读，更多相关《2020年终大会-大数据架构：5-3.pdf（35页珍藏版）》请在三个皮匠报告上搜索。

1、车好多毛豆瓜子让每个家庭都拥有更好的车结构化大数据链路在车好多的实践汪涉洋车好多大数据团队负责人年终大会2020DATAFUNTALK#page#Agenda，数据链路的定位数据链路在瓜子的发展历程。技术挑战及解决 Insight & FutureWorkQ&A年终大会2020车好多川子四邮锅让每个家庭都拥有更好的车DATAFUNTALK#page#Agenda数据链路的定位数据链路在瓜子的发展历程技术挑战及解决Insight & FutureWorkQ&AC年终大会2020车好多瓜子正锅让每个家庭都拥有更好的车DATAFUNTALK#page#瓜子的数据源分类1.交易数据（CDC流）数据湖数

2、据应用数据源头2.流量数据（click/viewevents、app日志埋点等）监控报量交易数据学习证数据加工3.业务行为数据（业务安全流量分析商业分析业务安全业务大屏o2o业务线上镜像化）流量欢据二手车辆车辆评估定价智能客服业务行为数据（像化）业务分单推荐年终大会2020车好多瓜子格利车道拍让每个家庭都拥有更好的车DATAFUNTALK#page#数据链路方向的定位1.数据进入大数据体系的hub2.提供各存储系统数据交换的服务（e.g.like公有云DTS）3.0LTP数据库的CDC数据流（e.g.mysqlbinlog）4.提供消息队列服务（kafka）5.提供一站式的Schema管理能力

3、（SchemaRegistrybased-onApache-avro）年终大会2020车好多瓜子饭幸建83让每个家庭都拥有更好的车DATAFUNTALK#page#Agenda数据链路的定位数据链路在瓜子的发展历程技术挑战及解决Insight & FutureWorkQ&AC年终大会2020车好多瓜子四锅让每个家庭都拥有更好的车DATAFUNTALK#page#数据链路在瓜子的发展历程技术方向的发展历程，伴随业务发展阶段。第一阶段：搭建使用异步通信、站内搜索等点状功能（引入kafka，提供简单的binlog流）第二阶段：建设数据能力体系建立交易/流量数仓，使用sqoopflumekafka大量

4、ingest数据入仓第三阶段：微服务化业务复杂度升高，应用服务架构开始走向微服务化，大量微服务间走异步通信（引入Schema体系，微服务团队间送代开发解耦）第四阶段：技术提升引入CDC平台，搜索（ES）、数仓ods层（hbase、kudu）达到near-realtime水平，数据链路上下游存储的Schema一致性变更。SLA不断提升。年终大会2020车好多瓜子四邮83让每个家庭都拥有更好的车DATAFUNTALK#page#Agenda数据链路的定位数据链路在瓜子的发展历程技术挑战及解决Insight & FutureWorkQ&AD年终大会2020车好多瓜子金邮83让每个家庭都拥有更好的车D

5、ATAFUNTALK#page#挑战1kafka集群稳定性和运维复杂度年终大会2020车好多瓜子金邮83让每个家庭都拥有更好的车DATAFUNTALK#page#挑战1.kafka集群稳定性和运维复杂度集群稳定性随着业务发展，微服务、binlog流、流量数据、日志数据在ingest入大数据时都会经过kafka，单kafka集群遇到了明显的瓶颈。不同业务之间的SLA强耦合。quota能力？集群的运维压力kafka-admin：1.5人。维护7套kafka集群，2019年中，topic:6k+，partition：2.5w+年终大会2020车好多瓜子正邮发让每个家庭都拥有更好的车DATAFUNTA

6、LK#page#挑战1.kafka集群稳定性和运维复杂度Solution:1.按SLA拆分独立集群，提供汇总集群。streaming都跑在汇总集群上。2.用户支持，自研发平台化套件。3.运维引入ClouderaManager&Ansible-awx。年终大会2020车好多金邮瓜子83让每个家庭都拥有更好的车DATAFUNTALK#page#按SLA和场景拆分kafka集群高SLA、低延退场景MirrorMaker1.站内搜索的准实时createindexWe AppSKafkaOnline2.微服务间异步通信&在线系统MQ3.内部IMMirrorMakerKafka其他场景：Ofine1.we