1-3 张旭-光大银行准实时数据平台架构演进.pdf

1、光大银行准实时数据平台架构演进演讲人：张旭光大银行准实时数据平台技术负责人，专注于分布式系统内核研发。在消息中间件&OLAP 领域有较丰富经验。开源爱好者，Apache RocketMQ committer，Prometheus contributorhttps:/ 准实时数据平台 架构演进实践 实时数据湖架构 数据服务总线实践 未来规划准实时数据平台准实时数据平台 特点 问题Kafka 存储分层（贴源、标准、发布）内置了很多业务的数据处理逻辑（Spark、Flink、MR）实时数据平台&计算资源平台维护了过多的业务处理逻辑业务处理逻辑（需要了解不同业务的逻辑，无法在平台建设上投入更多的精力）

2、平台组件过多组件过多，涵盖了数据的导入、消息存储、计算、调度等方面，导致平台定位不够清晰平台定位不够清晰架构演进实践架构演进实践架构演进实践实时数据湖实时数据湖数据服务总线 Schema 解耦 SDK 封装 可观测性&可视化数据服务总线-schema 解耦数据服务总线-schema 解耦数据服务总线-SR 高可用最佳实践客户端客户端：a.配置多个实例地址，缓存schema 关系服务端服务端：a.独立部署b.多实例，主从结构，一写多读c.schema 数据缓存d.跨域集群部署及容灾方案数据服务总线-SR 跨域部署数据服务总线-SR 优化安全安全&权限权限a.插件实现的简单 RBAC 鉴权b.au

3、dit log运维运维a.kerberos 整合b.监控打通数据服务总线-SDK 封装提供统一的客户端入口提供统一的客户端入口减少不同客户端版本带来的性能差异和稳定性问题方便升级管理、灾备切换等更好地规范客户端行为，增强对客户端的数据面控制数据服务总线-SDK 消费定制化数据服务总线-SDK 消费定制化数据服务总线-可观测性&可视化Kafka 服务端&客户端监控控制台开发：schema 和消费 schema 的可视化管理总结 更清晰的平台边界 覆盖分钟级实时贴源数据场景 数据服务总线生态建设目录 准实时数据平台 架构演进实践 实时数据湖架构 数据服务总线实践 未来规划未来规划 实时数据湖 数据服务总线分钟级贴源场景落地探索湖仓一体、批流一体SDK 开发：灾备切换Flink Connector 二次开发信创集群建设管理控制台运维特性开发THANK YOU!