高会军-小红书跨云多活架构建设之路.pdf

1、高会军小红书基础技术部容器架构组负责人小红书跨云多活架构建设小红书跨云多活架构建设介绍Inspire Lives 分享和发现世界的精彩小红书业务发展201720202023服务数量服务数量201720202023计算资源计算资源过去面临的问题 混合云/多云已经成为新常态，绝大多数公司都在利用多云来管理安全性、增强应用开发能力和提升业务敏捷性，并为每种工作负载选择最佳环境。在混合云环境中使用多云增加了与安全性、运营复杂性和成本管理相关的挑战。大多数组织正在采用 SaaS 运营平台、基础设施即代码和 AIOps 运营模式来应对这些挑战。业界趋势建设之路三阶段+两转变用户规模：千万级别服务单地域部署

2、，无多活能力运维体系：人工操作第一阶段2015-202020212022 第二阶段第三阶段单云单区的单活架构单云多区的双活架构跨云多活架构用户规模：上亿级别服务单云多机房部署，具备双活能力基础技术：快速补强，完成了很多技术从0到1的建设运维体系：平台化+人工用户规模：几亿用户服务单元化架构，服务具备跨云迁移和容灾能力基础技术：具备统一调度能力，并向 serverless 化演进运维体系：平台化+自动化+智能化主要挑战注册中心如何支持单元化架构微服务体系中，注册中心是流量调度（东西向+南北向）指挥中心。但是伴随着业务规模的增长，以及公司架构升级，老的注册中心暴露出来很多问题。性能低，稳定性差性能

3、低，稳定性差：原有架构在性能上达到瓶颈，在稳定性方面出现越来越多的问题，已经成为公司整个服务治理体系最薄弱的一环。不具备地理位置信息感知能力，进而不具备地理位置信息感知能力，进而无法支持跨云多活架构演进无法支持跨云多活架构演进：相对于单活架构，注册中心中实例的元数据信息，除了实例ip，以及端口这些常规的信息，需要包括地理位置等信息。注册中心 服务层级单元化架构下，服务之间访问关系复杂，而且一般来说我们只会做核心场景服务的单元化。引入服务层级这一概念，来解决服务可见性和故障域设置的问题。单元层级单元层级：分为 Global+Region（地域）+Zone（机房）三个层级，代表对应的服务发现范围。

4、上限上限：当本单元层级无实例可用，可以fallback到上限层级，具备一定的容错能力，但是不会超过上限。上限决定了故障域。启用控制启用控制：控制一个新服务是否加入到单元化整体模块中。相当于一个流量开关，有效避免新服务上线过程中容量不足引起的服务崩溃的问题。主要挑战如何提升多云资源管理效率和增强服务迁移弹性能力演进到多云架构后，1）异构、多样性资源管理运维复杂度高，管理效率低。2）服务需要对不同云资源做大量的适配。打造基于容器的多云计算底座，实现标准化的应用和资源交付能力打造基于容器的多云计算底座，实现标准化的应用和资源交付能力主要挑战多云之间数据如何高效安全分发对于小红书这种内容公司，重推荐。

5、大规模做跨云多活的时候，发现数据在不同机房同步有很多问题。尤其是跨云带宽成本越来越高，同时也带来很多稳定性的问题。跨云带宽不可控跨云带宽不可控。如果离线拉取数据缺乏限流能力，不仅导致会跨云带宽成本不可控，也会影响在线服务的稳定性。数据分发效率差数据分发效率差，进而导致服务启动慢等问题。典型的问题就是发版时间变长，模型更新时间变长。集中化存储（对象存储和集中化存储（对象存储和HDFS）的压力大）的压力大。当所有的节点都去集中化存储拉取的时候，经常因为集中化存储限流，导致拉取失败。影响模型的上线速度和服务的稳定性。安全性差安全性差：由于缺乏统一管理，很多业务服务通过公网拉取对象存储上的文件数据。问

6、题很多，但是多云架构下，数据只有流动起来才有价值多云架构下，数据只有流动起来才有价值。Redcast一个自适应多机房网络，支持文件，流式分发的系统其他挑战 接入层接入层：提供跨云切流+固定用户流量的插件。我们需要固定用户到某个机房的能力。在推荐场景，推荐服务会把用户推荐历史存下来的，包括一些用户特征和读过的笔记，如果流量不固定，可能出现同步不及时的问题，即推荐重复笔记等，这是不可接受的。微服务微服务：访问的单元化改造。存储存储：强一致性、强写后读场景的不满足、异步 RDB 全