2020年终大会-大数据架构：5-1.pdf

《2020年终大会-大数据架构：5-1.pdf》由会员分享，可在线阅读，更多相关《2020年终大会-大数据架构：5-1.pdf（31页珍藏版）》请在三个皮匠报告上搜索。

1、如何让Ozone成为HDFS的下代分布式存储系统毛宝龙腾讯大数据Apache Ozone CommitterAlluxio PMC年终大会2020DATAFUNTALK#page#AgendaOzone Introduction NameNode on HDDSContributions from TencentOzone Future年终大会2020DATAFUNTALK#page#Ozone Introduction年终大会2020DATAFUNTALK#page#Whats wrong with HDFS？ZKNameNodeFsInodeServiceEditlogZKFCZKFCBl

2、ockManagerJNDatanodeManagerRedundancyMonitorHeartbeatManagerANNGlobal lockCentralized Block ManagementXXConDfsRouterAlluxioHmESCephFs8S#page#Whats wrong with HDFS？ZKNN Scalabilitys ThroughputEditlodZKFCZKFCJN Block report storms NN Startup Slow GC disasterDfsRouterAluxioHDFSCianCephFsS3#page#hdfs#oz

3、one00111124AddatopicslackwhyOzone？89ActivePull RequestsHadoopActivityOzone CommunityMore and3578332more PopularMerged Pull RequestsOpen Pul Requests Tencent，JD.com，ClouderaCisco， Google。 Ozone(Apache member127Active Pull RequestsHadoop PMC / Committer）1858342Merged Pull RequestsOpen Pull Requests76A

4、ctive Pull RequestsratisJD?375331CIscOMerged Pu RequestsOpen Pull RequestCCLOUDERA年终大会2020DATAFUNTALK#page#Why Ozone？AprestoLLUX联AWSHCFSAPI接入大数据生态位S3G提供S3APIleSystemHCFS）Goofys提供FUSE挂盘能力Ozone-CSI支持k8s挂盘ible RESOZONEJAVAAPinterfaceOZONEJAVAAP年终大会2020DATAFUNTALK#page#Ozone structureOzone=(OM + HDDS）HD

5、DS=SCM+DNsHDDSNNCBlockOzoneManageOM= Object Store，Volume/BucketMetadata on RocksdbHDDSContainer-Block Write data by RatisSCMHddsDatanodeHddsDatanodeHddsDatanodeServiceServiceServiceRatisRatisRatis#page#Challenge: Ozone replace HDFStruncate、 hflush Ozone不支持Append、等操作Ozone的key不写完，不可见Ozone的RPC链路比HDFS的R

6、PC链路长Ozone目前没有文件系统概念，只是个Volume/Bucket下的KV对象存储。因此，list，rename等操作，都会非常慢，并且没有文件夹的metadata，因此无法获取文件夹的modificationTime等信息。Ozone采用ratis进行数据副本写入，目前只支持1副本和3副本写入。而HDFS支持任意副本写入Ozone的HA暂时还未完善Ozone 缺少balancerOzone目前还缺少Datanode磁盘预留空间功能Ozone的写性能还不及HDFS-（RATISStreaming）年终大会2020DATAFUNTALK#page#Filesystem vs Object