2019年搜狗EB级别大数据平台架构优化实践.pdf

《2019年搜狗EB级别大数据平台架构优化实践.pdf》由会员分享，可在线阅读，更多相关《2019年搜狗EB级别大数据平台架构优化实践.pdf（36页珍藏版）》请在三个皮匠报告上搜索。

1、搜狗EB级别大数据平台架构优化实践搜狗EB级别大数据平台架构优化实践About Us来自搜狗大数据平台部基于Apache Hadoop生态，建设搜狗海量数据存储和计算平台提供稳定高效的数据分析系统，为搜狗各类型大数据应用，提供一站式数据处理服务每天数十亿的数据增量，数以万计的数据计算流程，使数据的价值得到充分利用最前沿技术落地及推进开源技术的发展搜狗Hadoop生态系统搜狗Hadoop集群现状搜狗Hadoop技术演进时间线搜狗Hadoop技术演进时间线二级目录拆分-HDFS-Architecture二级目录拆分-HDFS-Federation二级目录拆分-搜狗面临的问题二级目录拆分-搜狗的解决

2、方案二级目录拆分-配置项搜狗Hadoop技术演进时间线YARN集群间弹性计算集群现状多集群模式集群资源有限集群资源利用率不同任务优先级不同思考集群间的资源能否共享任务能否跨集群计算能否根据负载弹性控制用户透明，使用方便YARN集群间弹性计算YARN集群间弹性计算YARN集群间弹性计算搜狗Hadoop技术演进时间线智能数据管理平台集中式缓存Cache小文件HarStoragePoliciesErasureCoding HDFS数据管理工具智能数据管理平台 HDFS数据管理工具智能数据管理平台 搜狗数据生命周期管理HotData:1小时内的访问次数达到一定阈值WarmData:近期有访问的数据Co

3、ldData:半年或一年没使用过的数据智能数据管理平台智能数据管理平台搜狗Hadoop技术演进时间线YARN-Run a jobContainer-ResizeNodeManager分析优化NodeManager分析80%的container资源富余少数container资源不足NodeManager优化富余资源收集资源超售NodeManager资源超售资源超售Container申请的资源Container实际使用的资源超售资源收集Container资源超售超售资源回收Container申请资源Container实际使用资源超售成本收集资源超售超售资源回收NodeManager资源超售0123

4、45678201904182019050220190506201906042019063020190801OOM 任务数量及计算成本趋势OOM 任务(百)OOM container(十万)计算成本(千)搜狗Hadoop技术演进时间线Observer05000001000000150000020000002500000201907271220190727132019072714201907271520190727162019072717201907271820190727192019072720201907272120190727222019072723201907280020190728012

5、01907280220190728032019072804201907280520190728062019072807201907280820190728092019072810201907281120190728122019072813201907281420190728152019072816201907281720190728182019072819201907282020190728212019072822201907282320190729002019072901读写请求读写请求readwriteObserver 一致性读功能 Observer namenode 社区patch HD

6、FS-12943ObserverIf c.lastSeenId.ANN=c.lastSeenId.OBN thengoto ANN and update c.lastSeenId.ANNWait until OBN reaches c.lastSeenId.ANNObserver 收益 Observer承担70%80%的读请求 Write吞吐量提升2倍左右0200000400000600000800000100000012000002019102712201910271320