2019年美团点评常态、异地、多机房、单集群Hadoop架构实践.pdf

1、美团点评异地多机房Hadoop架构实践大数据技术专家目录原生Hadoop架构在多机房场景下的问题 美团点评Hadoop多机房服务架构实践 美团点评Hadoop多机房服务运营实践概述 总结和经验ping时延同机房 /地域/机房/机架/DN基于xattr的文件副本分布属性文件默认机房一份元数据管理多机房副本保障数据一致性多机房存储资源管理：NameNode机房感知地区1地区2NameNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNode/地区1/机房1/192_168_1/DNxx各类事件响应setXAttr BlockManager choose

2、Target getBlockLocation countNodes ReplicationMonitor等TTLChecker轮询INodeTree，删除过期replica多机房存储资源管理：NameNode副本分布属性支持保证吞吐，避免跨机房流量写：仅向默认机房写入HDFS配置 环境变量 HDFS Client所在机房 NN所在机房 读：就近读取客户端同DN 客户端同机架DN 客户端同机房DN 客户端同地域DN 其他具备初级多机房存储资源管理能力多机房存储资源管理：HDFS读写响应基于Label Scheduler的多机房计算资源调度禁止跨机房作业调度前向兼容为Hadoop账号绑定默认机房

3、 e.g.root.hadoop-user1.test 等价于 root.机房1.hadoop-user1.test多机房计算调度机房1NodeManagerNodeManagerNodeManagerNodeManager机房2NodeManagerNodeManagerNodeManagerNodeManagerroot.机房1.hadoop-user1.etlroot.机房1.hadoop-user1.testroot.机房1.hadoop-user2.testroot.机房2.hadoop-user3.etlroot.机房2.hadoop-user3.test基于YARN Federa

4、tion的跨地域计算调度多机房计算调度：异地跨机房计算调度机房2机房1RouterRouterRMNMNMNMNMNMNMRMNMNMNMNMNM(AM)NM1234优先请求本机房Router队列SubCluster关系基于配置不进行跨SubCluster调度三步实现Hadoop多机房架构多机房Hadoop资源管理多机房存储资源管理多机房计算调度跨机房Hadoop应用优化跨机房数据Cache处理带宽管控HDFS机房容错机房间数据依赖处理本质上是数据Cache问题Cache一致性 生命周期管理Cache加载Cache穿透处理平台统一处理，保留业务定制能力屏蔽多机房对业务的影响降低迁移成本提升平台

5、掌控，提升资源利用率跨机房数据Cache处理跨机房数据Cache处理：全链路审计数据打通数据协同平台 结构化ETL离线作业托管平台 非结构化作业非工具链作业调度系统查询中心非工具链环境YARNHDFS作业定义作业提交作业执行数据审计跨机房数据Cache处理：数据依赖类型与Cache规则面向定时生产基于数据血缘，产生准确规则面向高频查询基于审计日志，发现规律预期外突发实时统计跨机房数据读取，减少重复跨机房流量Zone Data Manager Service基于数据血缘产生和读写规律构建 路径副本cache规则 e.g.保留定制能力：提供WebUI，管理路径副本分布规则跨机房数据Cache处理：

6、ZDMS管理Cache规则Zone Service执行 路径副本Cache规则跨机房数据Cache处理：ZS执行Cache规则AuditLog TailerNameNodeNameNodeNameNodeAuditLog TailerAuditLogTailerRuleBuilderNN审计日志BlockCopyFairSchedulerSrc DataNodeDst DataNode123456ZSConcurrentController7ReplicaExecutorClientRpcMonitorZDMSZone Service客户端跨机房请求前请求ZS跨机房数据Cache处理：ZS执行