2019年百万级服务器反入侵场景的混沌工程实践.pdf

《2019年百万级服务器反入侵场景的混沌工程实践.pdf》由会员分享，可在线阅读，更多相关《2019年百万级服务器反入侵场景的混沌工程实践.pdf（24页珍藏版）》请在三个皮匠报告上搜索。

1、百万级服务器反入侵场景的混沌工程实践高级工程师目录介绍反入侵洋葱系统及面临的挑战复杂规模下的质量建设思路反入侵场景下的混沌实践总结展望什么叫“入侵”未经授权 获取敏感数据（如关系链信息，用户信息）篡改数据（如恶意删除，给自己充钱，主页篡改）控制资产（让服务器对外发起ddos、当作渗透其它目标的跳板、跑个比特币挖矿程序等）0day/漏洞/弱口令/爆破管理系统敏感数据库业务服务提权、扫描、爆破反连从历史入侵case出发腾讯云上服务被植入ddos木马腾讯某服务redis端口对外未鉴权，被植入木马外网ssh爆破登陆并植入DDOS木马DDOS木马恶意外连通过域名获取外网ipRedis端口对外Cron文件

2、注入Cron定时执行恶意命令，下载挖矿木马木马外连国外所有的入侵动作，背后都能看到一条完整的行为链路，在链路中的关键环节层层设防，是反入侵的基本。反入侵洋葱系统反入侵入侵发现安全加固入侵回溯罗卡定律：凡两个物体接触，必会产生转移现象面临的挑战盘子大：百万级服务器业务众多：各种应用/第三方软件，自研服务，安全意识网络复杂：生产环境，合作区，腾讯云，隔离带反入侵系统的有效性（质量）至关重要复杂规模下的质量建设思路指标梳理指标埋点指标分析异常处理场景开发确定能100%覆盖所有异常场景?复杂规模下的质量建设思路入侵对抗：蓝军/tsrc白帽子/黑客模拟入侵拨测故障测试演习系统质量建设：有效覆盖、有效发现

3、混沌实验正向系统质量建设“负反馈”系统质量建设-实时质量大盘实时质量大盘：用于实时表述整个客户端系统有效覆盖率的健康度指标，以及异常分类统计占比输出；实时质量大盘异常详情，汇总统计资产管理实时资产大盘指标埋点指标梳理，采集上报在线数据洋葱agent在线心跳实时分级分析模型异常分级，指标分类发布平台/研发数据打通，异常修复系统质量建设 异常分级 分级原则：区分运维关注和开发关注，影响严重程度 分级目的：指标聚合，突出高风险性异常；运维关注部分，可直接打通发布平台自动修复运营指标梳理定义指标分类定义异常分级实时分析分级模型需要靠人工介入梳理定义，并持续更新迭代系统质量建设-异常自动修复与输出实时大

4、盘数据实时分级分析模型发布平台任务管理Svr性能问题/BUG洋葱agent综合报表展示监控告警自动生成修复任务自动生成修复任务任务下发任务下发指标更新指标更新研发同学运维同学运维同学指标新增开发测试发布新场景需求混沌实验：反哺系统质量建设有效覆盖有效策略分析模型有效发现实时质量大盘混沌实验质量建设反哺系统反入侵场景下的混沌实践混沌实验有效发现模拟入侵拨测入侵对抗有效覆盖故障测试反入侵场景下的混沌实践 故障测试方法客户端agent 低版本 插件未部署 接入切换后端接入机器高负载 主机故障分析系统进程退出 主机故障雪崩演练反入侵场景下的混沌实践 故障测试方法框架agentconnAnalysisS

5、ocTask-mgr集群化（深圳区，上海区，测试区等）集群化（深圳区，上海区，测试区等）集群化（运营区，测试区等）AgentAgentAgentCpu高负载工具暂停特定服务工具Agent组件删除Agent低版本下发正常/异常流量发送所有的服务器，包括业务服务器，和洋葱系统后台服务器，都安装有洋葱agent反入侵洋葱系统，设计有任务服务，可以向任意agent下发任务执行；通过任务通道，可以下发任何特定引入故障的工具并执行，从而达到故障注入的效果；反入侵场景下的混沌实践 模拟入侵 模拟入侵拨测，是混沌实验在安全场景下，旨在策略场景反向验证，和反入侵系统质量验证的一种实验方法。模拟入侵拨测，具备以特

6、征：1、覆盖所有现网提供服务的策略场景2、黑盒实验，周期性触发，自动化验证测试结果3、拨测数据全链路日志染色落地模拟入侵拨测模拟入侵攻击洋葱数据采集传输行为检测结果拨测系统策略场景分析入侵行为检测拨测结果输出模拟入侵行为全链路旁路实时质量大盘策略优化模拟入侵拨测效果与作用：历史上发现现网环境中，多起测试监控未覆盖场景下，策略和质量问题（发布前未知），挖出了不少引起异常波动的隐患因素入侵对抗 入侵对抗，是混沌实验在安全场景下的一种实验方法，实验对整个安全系统的入侵有效发现进行验证,，目的是检验在真实攻击中纵深防御能力