商业化业务的旁路环境建设与应用实践_王小冷.pdf

1、商业化业务的旁路环境建设与应用实践分享人：王小冷个人简介姓名：王小冷所在组织：360技术中台专业领域：搜索广告引擎和front测试负责人目 录010203背景建设和运维应用实践04后续规划旁路环境建设的背景线下线上环境不一致导致缺陷露出 环境的复杂性决定了线上线下环境很难保持一致 线上线下环境不一致的隐患配置不一致配置不一致词表不一致词表不一致下游环境不一致下游环境不一致第三方依赖不一致第三方依赖不一致机器环境不一致机器环境不一致旧场景回归不全旧场景回归不全新场景测试不到新场景测试不到缺陷缺陷露出露出业务环境可行性文件配置词表下游环境第三方依赖机器环境 灰度、全量 小流量 灰度、全量 更新频率

2、 实时数据 完整服务（Shard0-ShardN）模型服务 memcache Zk,AS等 MEM，CPU OS线上问题排查困难机房A机房B机房C机房D多机房监控用户反馈线上走查线上问题流量发向了哪个机房机器A机器B机器C机器D单机房内同服务多机器流量打向了哪台下游机器配置不能更改日志信息不全单机器内无定位线索 无法确定流量走向 即使找到流量所在机器，定位具体原因的信息依然不足旁路环境建设和运维 机器资源准备旁路环境部署旁路运维机器资源准备目标获取旁路需要的最小机器资源CGIBADC主服务N2台模型1 模型2 模型N 模型服务N1台zkredisASmemcacheredis第三方服务N3台k

3、afka各模型资源需求各模块资源需求各服务资源需求机器需求清单 机器资源和配置清单（机器XX台，cpu，mem，os配置）依赖：同机房资源申请和审批旁路环境部署-部署方案机器1（配置/机房）机器资源清单机器2（配置/机房）机器N（配置/机房）模块（CPU/MEM/OS/QPS）线上服务梳理模型（CPU/MEM/OS）第三方依赖（资源需求）Hulk对每一台旁路机器分组管理 通过打tag标记机器用途旁路环境部署模块部署Bin脚本配置词表模块启动脚本词表同步脚本过期词表删除脚本日志删除脚本一般词表（多种格式）软链词表基线词表快照数据实时消息&offset主配置下游链接配置第三方服务链接配置远程日志配

4、置小流量实验配置Bin文件同步Bin软链和线上一致依赖lib同步日志、打点目录同步 单模块部署考虑点如下:旁路环境部署模块部署 单模块部署重点关注需要修改的配置和词表相关脚本onlineJUSTJUSTCOPYCOPY旁路COPY ANDCOPY ANDMODIFYMODIFY配置修改旁路的下游模块修改旁路的外部服务修改旁路的远程日志机生成唯一的kafka Topic 代码仓库配置更新 Apollo配置更新 自动上线脚本更新词表实时消息同步词表同步词表更新词表删除 避免丢消息1.同步offset2.同步消息 保持软链1.打包2.Copy&解压 Crontab任务删除 Crontab任务同步 水

5、滴平台同步/etc/cron.d同步 Transfer集中分发 常驻进程同步旁路环境部署模型&第三方服务部署 模型较大（百G），多机部署，并保障N台机器的服务构成一个完整的模型副本 模型20+，场景丰富，分别部署CTR模型名CVR OCPC PCMOBILE主流量小流量主流量小流量IP（多个）、PORT进程名，部署路径IP（多个）、PORT进程名，部署路径IP（多个）、PORT进程名，部署路径IP（多个）、PORT进程名，部署路径ip1:port1 旁路模型ip2:port2ipN:portN 第三方服务根据部署手册部署，并提供ip:port供模块调用旁路运维环境一致性旁路导致环境不一致的原因

6、分析：bin上线 配置配置上线手动修改配置配置同步服务未开启 词表词表上线手动修改词表词表同步脚本问题（未运行，运行失败，运行时间差异）上线导致旁路嵌入上线流程其它原因一致性监控原因复杂，个性化从结果侧监控场景简单直接从源头预防解决方案：旁路运维旁路嵌入上线流程旁路上线旁路流水线回归占用旁路环境，生成报告，释放旁路环境，旁路环境回滚到全流量状态检验通过？旁路手动验证灰度上线检验通过？全量上线（含旁路）结束紧急需求？开启上线紧急上线流程否是是否否 旁路承载线上验证功能 旁路和线上主流量环境一致 旁路验证期间监控不生效是流程如图：环境运维一致性监控词表一致性监控获取词表list获取文件md5或大小