2020年终大会-大数据架构：5-5.pdf

《2020年终大会-大数据架构：5-5.pdf》由会员分享，可在线阅读，更多相关《2020年终大会-大数据架构：5-5.pdf（22页珍藏版）》请在三个皮匠报告上搜索。

1、基于Logi-KafkaManager打造专业易用KafkaPAAS服务张亮年终大会2020DATAFUNTALK#page#Logi-KafkaManager产品简介Logi-KafkaManager亮点功能分享大纲KafkaManager业界开源对比Logi-kafkaManager发展规划年终大会2020DATAFUNTALK#page#Logi-KafkaManager产品简介年终大会2020DATAFUNTALK#page#项目介绍福KafkaManager帮助中心Topic管理集群管理监控告运维管控专家服务已过期Topihttps:/ ixB/s）KE/al录作33048时可管理K

2、aa服务测试账号Logi-KafkaManager脱胎于滴滴内部4年多的Kafka服务运营经验，服务了公司内近干Kafka用户，托管了数十Kafka集群，数万KafkaTopic，单集群300+Broker，面向Kafka用户、Kafka运维人员，打造一套共享多租户kafka云平台，内部满意度达到90分！年终大会2020DATAFUNTALK#page#服务架构运维控制台OPEN API用户控制台平台层监控管理Topic管理集群管理Topic读写申请集群监控Broker监控集群部署集群升级Topic创建/扩容服务层分层架构，依赖精简Controller监控集群扩缩容Topic管控/迁移Topi

3、c指标监控Region管理Topic性能诊断，分布式部署，能力API化0.10.2+开源引擎100%兼容网关层降级能力安全管控Topic限流服务发现引擎层DiDi-Kakfa-2.5-90040+改进/Kafka0.10.2+弹性资源调度/磁盘过载保护资源层MysqlZookeeper容器物理机年终大会2020DATAFUNTALK#page#Kafka运维体验地图Kafka ManagTopk管理集团管吧监控告量返维管控专家服务吃中心移任务质本管母集列表新建集群任务Kafka集群安装当入任务Kafka集群监控平台管球完成Kafka集群升级完成逻辑集群管理完成集升开浦茶点Kafka版本管理6超

4、中心Kafka Man集科管理监控告路运维管控专家服务国内Topte管理Topic任务迁移集群列表/广州common集群Kafka平台管理集群运维我Dpc平台管理8用户账年终大会2020DATAFUNTALK#page#Kafka服务运营地图明集科管理监按告助中心Kafka运维管控专家服务oplc管理Topic资源治理Topic账单体系Topic分区热点8监校告餐运询管控专家服务Topk管理集料管理Topic资源不足自Topic资源审批工甲类型工学标题工单工请原任状高途医学旅理年终大会2020DATAFUNTALK#page#Logi-KafkaManager亮点功能年终大会2020DATAF

5、UNTALK#page#亮点：多租户隔离模型Broker-RegionlBroker-RegionXBroker-ControllerCoordirBrokerRegionlBroker-RegionXBroker-ControllerCoorKafa-GatewayBroker-RegionlBrokeBroker-ControllerCoordinatorIOPS集群Kafka-GatewayMirrorMakerAppid+Passwd定义租户Kafka-GateWayRegion定义资源分配单元BrokerRegion1Broker-RegionXBroker-Controller元数

6、据网关逻辑集群按保障等级映射CoordiBroker-Region1Broker-RegionXBrokerControllerCoordinatoBroker-RegionlBroker-RegionXBroker-ControllerCoordinatorTPS集群引繁改造：增加controllerleader白名单；Metadatarequet返回可用的broker列表分角色部署：Gateway/consumerCoordinator/region/Controller/mirrorMaker年终大会2020DATAFUNTALK#page#亮点：元数据网关层设计服务发现监控、管控USK