2019年百万级服务器反入侵场景的混沌工程实践.pdf

1、百万级服务器反入侵场景的混沌工程实践百万级服务器反入侵场景的混沌工程实践高级工程师目目录录u介绍反入侵洋葱系统及面临的挑战u复杂规模下的质量建设思路u反入侵场景下的混沌实践u总结展望什么叫什么叫“入侵入侵”未经授权 获取敏感数据（如关系链信息，用户信息）篡改数据（如恶意删除，给自己充钱，主页篡改）控制资产（让服务器对外发起ddos、当作渗透其它目标的跳板、跑个比特币挖矿程序等）0day/漏洞/弱口令/爆破管理系统敏感数据库业务服务提权、扫描、爆破反连从入侵从入侵case出出发发案例1：爆破登录案例2：redis端口对外未鉴权外网ssh爆破登陆并植入DDOS木马DDOS木马恶意外连通过域名获取外

2、网ipRedis端口对外Cron文件注入Cron定时执行恶意命令，下载挖矿木马木马外连国外所有的入侵动作，背后都能看到一条完整的行为链路，在链路中的关键环节层层设防，是反入侵的基本。反入侵洋葱系反入侵洋葱系统统反入侵入侵发现安全加固入侵回溯罗卡定律：凡两个物体接触，必会产生转移现象面面临的挑战临的挑战n盘子大：百万级服务器n业务众多：各种应用/第三方软件，自研服务，安全意识n网络复杂：生产环境，合作区，腾讯云，隔离带反入侵系统的有效性（质量）至关重要复复杂规模下的质量建设思路杂规模下的质量建设思路指指标梳理标梳理指指标埋点标埋点指指标标分析分析异常异常处理处理场景开发场景开发确定能确定能100

3、%覆盖所覆盖所有异常有异常场景场景?复复杂规模下的质量建设思路杂规模下的质量建设思路入侵对抗：蓝军/tsrc白帽子/黑客模拟入侵拨测故障测试演习系统质量建设：有效覆盖、有效发现混沌实验正向系统质量建设“负反馈”系系统质量建设统质量建设-实时质量大盘实时质量大盘实时质量大盘：用于实时表述整个客户端系统有效覆盖率的健康度指标，以及异常分类统计占比输出；实时质量大盘异常详情，汇总统计资产管理实时资产大盘指标埋点指标梳理，采集上报在线数据洋葱agent在线心跳实时分级分析模型异常分级，指标分类发布平台/研发数据打通，异常修复系系统质量建设统质量建设 异常分异常分级级 分级原则：区分运维关注和开发关注，

4、影响严重程度 分级目的：指标聚合，突出高风险性异常；运维关注部分，可直接打通发布平台自动修复运营指标梳理定义指标分类定义异常分级实时分析分级模型需要靠人工介入梳理定义，并持续更新迭代系系统质量建设统质量建设-异常自异常自动修复与输出动修复与输出实时大盘数据实时分级分析模型发布平台任务管理Svr性能问题/BUG洋葱agent综合报表展示监控告警自动生成修复任务自动生成修复任务任务下发任务下发指标更新指标更新研发同学运维同学运维同学指标新增开发测试发布新场景需求混沌混沌实验：反哺系统质量建设实验：反哺系统质量建设有效覆盖有效策略分析模型有效发现实时质量大盘混沌实验质量建设质量建设反哺系反哺系统统反

5、入侵反入侵场景下的混沌实践场景下的混沌实践混沌实验有效发现模模拟入侵拨测拟入侵拨测入侵入侵对抗对抗有效覆盖故障故障测试测试反入侵反入侵场景下的混沌实践场景下的混沌实践 故障故障测试方法测试方法客户端agent 低版本 插件未部署 接入切换后端接入机器高负载 主机故障分析系统进程退出 主机故障雪崩演练反入侵反入侵场景下的混沌实践场景下的混沌实践 故障故障测试方法测试方法框架agentconnAnalysisSocTask-mgr集群化（深圳区，上海区，测试区等）集群化（深圳区，上海区，测试区等）集群化（运营区，测试区等）AgentAgentAgentCpu高负载工具暂停特定服务工具Agent组件

6、删除Agent低版本下发正常/异常流量发送所有的自研服所有的自研服务器，包括业务服务器，和洋葱系统后台服务器，都安装有洋葱务器，包括业务服务器，和洋葱系统后台服务器，都安装有洋葱agent反入侵洋葱系反入侵洋葱系统，设计有任务服务，可以向任意统，设计有任务服务，可以向任意agent下下发任务执行；发任务执行；通通过任务通道，可以下发任何特定引入故障的工具并执行，从而达到故障注入的效果；过任务通道，可以下发任何特定引入故障的工具并执行，从而达到故障注入的效果；反入侵反入侵场景下的混沌实践场景下的混沌实践 模模拟入侵拟