王建新-转转测试环境流量隔离架构演进.pdf

1、转转测试环境流量隔离架构演进主讲人：王建新演讲嘉宾介绍王建新转转服务治理负责人 RPC框架、注册中心、网关、分布式调用跟踪系统 自研转转RPC框架、注册中心、分布式调用跟踪系统 主导转转流量路由、全链路压测功能开发CONTENT目录2023K+01为什么需要流量隔离物理隔离Plus基于自动IP为标签的流量路由0203基于手动打标的流量路由04工具链05Part 01为什么需要流量隔离为什么需要流量隔离测试环境不同开发分支之间隔离生产环境全链路灰度隔离生产环境全链路压测隔离Part 02物理隔离Plus 物理隔离 物理隔离Plus物理隔离每套环境包含全量的服务简单可靠隔离非常彻底资源占用非常高优

2、点缺点物理隔离Plus稳定环境：多IP，包含全量的服务动态环境：一台kvm，同一个IP，包含从nginx开始至最后一个要测试的服务稳定环境作为链路的尾巴可以复用物理隔离Plus禁用注册中心每个RPC服务分配唯一域名，默认解析至稳定环境如果某动态环境包含该服务，则将该服务域名解析至127.0.0.1按服务依赖顺序倒序部署动态环境添加服务后，重启调用方MQ通过修改配置文件为topic添加ip前缀，队列隔离隔离较彻底资源占用较高 优点域名管理复杂配置文件易出错搭建环境耗时长 缺点Part 03基于自动IP标签的流量路由 部署方式 RPC路由 MQ路由 难点 收益 优缺点部署方式稳定环境：多IP，包含

3、全量的服务动态环境：一台KVM虚拟机，部署nginx+Entry+修改的服务通过注册中心进行RPC服务的发现流量经过Entry时，用Entry所在的IP为流量打标签MQ在动态环境为group添加IP前缀，在MQ客户端自动完成MQ在稳定环境为group添加test前缀，在MQ客户端自动完成RPC路由服务所在IP即是标签优先调用节点IP和流量标签相同的节点，其次稳定节点MQ路由 稳定环境与动态环境共享队列，不共享offset 消息丢失问题怎么解决动态环境消费者下线时，将与稳定环境offset之间的消息重新投递 批量消息如何解决按标签分组后再消费难点跨进程传递标签自研RPC框架，可传递扩展字段Roc

4、ket MQ二次开发，通过header传递标签进程内传递标签通过方法参数传递，改造成本非常高使用ThreadLocal传递，并提供RunnableWrapper，CallableWrapper，改造成本较高使用阿里开源的TransmittableThreadLocal，通过agent的方式做增强，对应用透明，无改造成本收益左图为服务数量曲线，右图为每环境部署服务数量曲线优缺点优点使用方式完全兼容节省资源，仅部署Entry+X（修改的服务）部署效率高，约30min-1h标签对RD&QA无感知缺点单台KVM内存有限，无法扩容申请虚拟机耗时长只能在测试环境使用链路复杂Part 04基于手动打标的流量

5、路由 部署方式 RPC路由 MQ路由 收益 优缺点部署方式稳定环境：多IP，包含全量的服务动态环境：多台Docker由环境平台自动添加jvm参数-Dtag=$tag通过注册中心进行RPC服务的发现，服务注册时将tag上传至注册中心MQ在动态环境为group添加$tag前缀，在MQ客户端自动完成MQ在稳定环境为group添加test前缀，在MQ客户端自动完成通过Http Header为流量打标RPC路由服务方将节点标签上传至注册中心优先调用节点标签和流量标签相同的节点，其次稳定节点MQ路由 稳定环境与动态环境共享队列，不共享offset 消息丢失问题怎么解决动态环境消费者下线时，将与稳定环境of

6、fset之间的消息重新投递 批量消息如何解决按标签分组后再消费收益05101520每环境部署服务数量700750800850900950服务总量收益0500100015002000250030003500测试动态环境内存占用kvmdocker总内存0500100015002000沙箱动态环境内存占用kvmdocker总内存收益0100020003000测试稳定环境内存占用kvmdocker总内存05001000150020002500沙箱稳定环境内存占用kvmdocker总内存优缺点优点：仅部署X（修改的服务），不需要部署nginx+Entry申请环境快