米家故障应急保障体系实战：稳中求胜的构建之道-v4.0.pdf

1、家故障应急保障体系实战 稳中求胜的构建之道 付冰尧机IoT SRE负责0102030405录IoT技术架构全景IoT质量保障的问题和挑战应急体系的科学构建亿级设备故障处置案例复盘互动研讨01IoT技术架构全景亿级设备连接的核架构解析全球领先的消费级 AIoT 平台全球领先的消费级 AIoT 平台8.61亿设备接户活1亿开发者1.3万本地化演进，打造快速、稳定、合规的全球性 IoT 平台 全球 6 区域本地化部署 连接全球 8亿+设备 1亿+户 从家庭设备联动到家全联动的架构演进设备管理设备绑定设备影设备控制设备联动SPEC标准库ZKK8SRMQETCDMySQLRedisPega sus 家庭

2、机穿戴座舱系统IoT 系统OTIoT 事件上报IoT 系统控制IoT 系统绑定事件上报控制绑定接关IoT 系统接关OT 接关OT 控制OT 绑定OT 属性 事件上报业务复杂度下的并发、可系统家接服务语控接服务云存接服务IoT 链接IoT 开发者平台设备绑定设备列表设备控制动化配置设备列表控制设备创建动化执动化视频上传视频回放AI 检测会员服务UDPTCPTLSMQTT开发组管理产品管理功能开发测试上线推理引擎消息引擎场景联动引擎设备数据设备影权限数据设备在线户数据家庭房间分享数据场景信息产品配置场景模板视频 meta会员数据视频数据AI 数据MySQLRedisPegasusSDSHiveFD

3、SESS3感知引擎业务接层全链路服务治理与多机房容灾四层接层负载均衡、跨机房切流七层接层容器化部署、弹性伸缩关接层鉴权、路由、熔断、限流、降级业务服务层熔断、限流、降级基础服务层熔断、限流、降级存储中间件动态调控、穿透/回写域名拆分NG容器集群NG物理集群NG物理集群LBAPI Gateway语控服务App服务中枢服务设备服务控制服务配置服务语控服务App服务中枢服务设备服务控制服务配置服务语控服务App服务中枢服务设备服务控制服务配置服务主core.apiapiMiProxy从从 机房 A 机房 B 机房 Cnice:-64-63nice:-64-63nice:-64-63nice:-64-

4、63nice:-64-63nice:-64-63nice:-64-63nice:-64-63nice:-64-63nice:-64-63nice:-64-63nice:-64-63nice:-64-63nice:-64-63nice:-64-63nice:-64-63nice:-64-63nice:-64-63API GatewayAPI Gateway主从同步02IoT质量保障的问题和挑战压过载交付平衡的双重困境核服务QPS 200W+PV 200亿+业务规模技术架构复杂家App影响户的活 故障后量客诉，快速冲上热搜客诉舆情压业务增快每年约有30%+的增P质量压CDA物联技术架构复杂，设备品

5、类多 通信协议多样困境压过载困境交付平衡03应急体系的科学构建从预警到处置的全链路可靠性程三层体系建设可观测性标准化变更安全防控作战室机制组织层具层流程层执结果规则同步技术运营可靠性保障构建统可观测性与动化应急具链动化应急响应AI知识库联动研发过程可靠性保障技术案评审稳定性准机制架构韧性评估预防观测处置改进技术案评审架构韧性评估发布策略规划稳定性准机制动化具链分级响应机制流程层-技术案评审核标：预防设计缺陷，保障系统可靠性需求分析概要设计详细设计测试例软硬件模块架构设计容灾案评审单元性能安全可维护性可容错性评审对象参审要素关键具系统级模块级代码级FMEA（故障模式与影响分析）CheckList

6、交付输出险评估矩阵和优化建议档技术案评审架构韧性评估发布策略规划稳定性准机制动化具链分级响应机制流程层-架构韧性评估核标：构建抗故障的能，保障业务连续性异地多活与数据同步容灾层数据层应层业务层故障恢复动故障转移限流降级韧性验证红蓝对抗及内部漏扫故障注测试技术案评审发布策略规划稳定性准机制动化具链分级响应机制核标：最化变更险，确保平滑上线回滚机制预警回滚数据致性保障验证闭环盒测试流量回放流程层-发布策略规划渐进发布灰度发布A/B 测试架构韧性评估技术案评审稳定性准机制动化具链分级响应机制核标：量化稳定性标准，前置拦截险容量压测容量模型混沌程监控告警指标告警