吉翔-B站多活架构解析、最佳实践与管控治理.pdf

1、B站多活架构解析最佳实践与管控治理吉吉 翔翔 bilibili bilibili 基础架构部基础架构部/资深资深SRESRE工程师工程师负责主站/直播/OGV/OTT等在线业务SRE相关工作负责B站S赛、跨年晚会、拜年纪等相关活动的基架保障工作 深度参与业务多活建设项目，负责业务多活推进、多活管控治理多活架构解析多活最佳实践多活管控治理多活架构解析多活架构解析异地多活同城多活单活/灾备多活通常指不同地理位置上的数据中心，部署应用服务和数据，基于流量调度管控能够同时提供服务应用应用应用数据(主)应用应用应用数据(从)数据A数据B.数据A数据B.数据A数据B.多数据中心同城多数据中心异地多数据中心

2、5ms30ms5ms应用数据(主)数据(备)同城跨城同城多活（同城双/三中心）：业务部署在同一个城市不同数据中心，可划分为两个/多个可用区，由数据中心间专线支持提供5ms网络延迟。数据层具备同步和切换能力。主要优势：主要优势：架构方案比较简单，业务改造接入成本低；数据中心距离近，数据同步延迟低，易保证数据最终一致性；劣势：劣势：无法抵抗城市级别故障/灾难，但极端灾难发生概率比较低；挑战：挑战：流量调度管控、数据接入层能力支持复杂业务场景下链路会出现频繁跨机房调用增加响应时间，影响业务耗时和用户体验。同城多活50%50%ServiceService存储(主)存储(从)单向同步写读/写读流量调度3

3、0ms。需要按用户分片划分流量，数据层具备单元分片能力，数据进行双向同步；通常也称为单元化架构。主要优势：主要优势：可以抵抗城市或区域级别的灾难影响；易于扩展，可以解决单城市/机房容量上限问题；业务调用单元内封闭，少量跨机房调用，保障耗时和用户体验挑战：挑战：数据分片存储、双向同步能力支持架构复杂度高，并非所有业务都适合，强一致业务仍旧依赖全局部署/数据存储，非强一致业务适合做单元化改造数据分片B数据分片B双向同步数据分片A30ms流量调度流量接入层流量接入层数据访问层数据访问层多活管控多活管控缓存层缓存层DCDNSLBAPIGWServiceMQCacheGZ DB/KVJobSLBAPIG

4、WServiceCacheMQJobProxyGZ DB/KVProxyCanalCanal支持双向同步、三种消费模式单向同步服务发现读/写读读/写GZSInvoker删除/更新删除/更新读读回源回源上海可用区1上海可用区2消息层消息层BinlogBinlog数据存储层数据存储层DCDN南北向流量管控用户纬度Hash路由SLB&GW南北向流量管控故障降级重试Discovery东西向流量管控缓存一致性维护纯缓存场景改造Topic Sync消息双向同步Global/Local/None消费模式Proxy读写路由、容灾切换支持MySQL/TiDB/KV主从单向同步、双向同步高可用容灾切换多活资源可视

5、化多活定义、编排切流预检可观测DCDNDCDN 基于边缘CDN做路由管控，动态最佳选路 自研Picker Hash模块，用户ID、设备ID等信息路由 支持多机房流量权重灵活调整SLB 当单可用区SLB故障，支持CDN从其他可用可用区回源 支持发现多可用区服务/APIGW节点 支持API降级、限流APIGW 发现多可用区服务节点，单可用区服务故障重试 支持服务API降级、熔断、限流、客户端流控 PaaS平台部署，支持HPA弹性扩容Service 服务本地完整支持读写请求 强依赖服务本地部署 弱依赖跨专线回主机房Discovery 同可用区调用优化 非多活服务回主可用区调用 东西向流量权重管理、灰

6、度等DCDNSLBAPIGWServiceSLBAPIGWServiceDiscovery上海可用区1上海可用区2Service BService CService B用户MID、设备ID来源Hash路由跨可用区调用DNSHTTP DNS故障降级重试故障降级重试Discovery南南北北向向东东西西向向缓存相关中间件支持：缓存相关中间件支持：统一Proxy，Sidecar/Proxyless SDK模式部署 支持Redis、Memcache缓存一致性处理方式：缓存一致性处理方式：DB/DB/KV+CacheKV+CacheCanal订阅同可用区存储Binlog，投递消息队列，由业务Job解析处