3-4 喜马拉雅大数据弹性云的方案演进.pdf

1、喜拉雅数据混合云案陈涛 数据技术专家|我介绍|陈涛喜拉雅数据集群架构组负责前专注集群优化和稳定性提升曾负责喜拉雅计算平台组0-1构建博客：https:/ CONTENT|集群现状、问题与优化存储治理计算弹性计算加速01 集群现状、问题与优化|集群现状|主存储集群单机房 750+hadoop机器，主要机型存算体 存储 hadoop3.2.1 71PB总容量 使率68%净增量超过200TB 主计算集群 hadoop2.9.2 26000核140T内存 作业10w+资源使呈现明显潮汐现象集群稳定性典型问题|datanode和nodemanager相互影响 cpu影响，任务占量cpu资源，导致data

2、node响应慢 I/O影响，磁盘共，部分任务shuffle等打满磁盘，影响datanode稳定性 任务写热点 streaming任务落盘hdfs，hdfs数据本地化特性导致部分datanode 持续热点集群优化|Cgroup限制Yarn资源使：集群优化|Cgroup限制Yarn资源使：Before集群优化|Cgroup限制Yarn资源使：BeforeAfter集群优化|计算、存储磁盘隔离集群优化|计算、存储磁盘隔离12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)1

3、2T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)Before集群优化|计算、存储磁盘隔离12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)Before12T HDD(hdfs)12T HDD(hdfs)12T HDD(hdfs)12T HDD(hdfs)12T HDD(hdfs)12T HDD(hdfs

4、)1T SSD(yarn)1T SSD(yarn)After集群优化|计算、存储磁盘隔离集群优化|计算、存储磁盘隔离规格机器集群优化|计算、存储磁盘隔离规格机器新改造机器集群优化|计算、存储磁盘隔离规格机器新改造机器BeforeAfterHDFS readavg:12ms max:50msavg:4ms max:10msHDFS writeavg:3ms max:60msavg:1ms max:8msYarn readavg:12ms max:50msavg:1.6ms max:16msYarn writeavg:3ms max:60msavg:6ms max:20ms集群优化|客户端持基于配

5、置的hdfs忽略本地写（流任务泛开启该特性）02 存储治理|存储治理|采购交付周期，季度为单位 业务难以准确预估增量 数据增量超过200TB 提前闲置机器有额外的财务成本 由于审计、财务等场景，量冷数据法删除 建IDC空余机架不多，法在机房持续扩容存储分析|存储分析|FSImage解析调优 LevelDB缓存Path 多线程解析 效果 5.7亿件3时解析写Clickhouse 持任意path秒级查询和分析存储分析效果展示|存储分析效果展示|调度系统FSIMage解析任务管理存储分析效果展示|存储分析效果展示|可视化系统-HDFS存储看板冷数据上云|核盾 由于各种业务原因，量的表删除规则较为保守

6、 业务增量快，机房扩容难 标 在IDC机房法扩容情况下撑前数据增量 使过程中对业务透明 成本低于机房 案实现 业务设置表分区IDC保留时间 过期分区通过spark任务定时上传到云上低频对象存储 修改hive metastore对应分区location到cos 计算平台任务加cos相关依赖，通过HDFS FileSystem实现对cos透明读取冷数据上云效果|冷数据上云效果|表规则配置&Hive Location展示冷数据上云效果|冷数据上云效果|CosBrowser件展示冷数据上云效果|CosBrowser件展示0