《苏锐-分布式文件系统在云原生时代的挑战与趋势(GOTC深圳会场)(30页).pdf》由会员分享,可在线阅读,更多相关《苏锐-分布式文件系统在云原生时代的挑战与趋势(GOTC深圳会场)(30页).pdf(30页珍藏版)》请在三个皮匠报告上搜索。
1、分布式数据库与存储专场苏锐 2021年81分布式件系统在云原时代的挑战与趋势 较种流的分布式件系统 云原环境下遇到的挑战 如何为云原环境设计分布式件系统 在业务场景中的收益 未来展望 foo bar/foo/a/b/c/aa/aaa/b/c/foo/a/foo/b/foo/c/foo/a/aa/foo/a/aaa/foo/a/aaa/b/foo/a/aaa/b/ foo bar/foo/a/b/c/aa/aaa/b/cAtomic Update/bar/foo/a/foo/b/foo/c/foo/a/aa/foo/a/aaa/foo/a/aaa/b/foo/a/aaa/b/ foo bar/f
2、oo/a/b/c/aa/aaa/b/cAtomic Update/bar/foo/a/foo/b/foo/c/foo/a/aa/foo/a/aaa/foo/a/aaa/b/foo/a/aaa/b/c/bar/a/bar/b/bar/c/bar/a/aa/bar/a/aaa/bar/a/aaa/b/bar/a/aaa/b/cData foo bar/foo/a/b/c/aa/aaa/b/cAtomic Update/bar/foo/a/foo/b/foo/c/foo/a/aa/foo/a/aaa/foo/a/aaa/b/foo/a/aaa/b/c/bar/a/bar/b/bar/c/bar/a/
3、aa/bar/a/aaa/bar/a/aaa/b/bar/a/aaa/b/cData copyIndexU foo bar/foo/a/b/c/aa/aaa/b/cAtomic Update/bar/foo/a/foo/b/foo/c/foo/a/aa/foo/a/aaa/foo/a/aaa/b/foo/a/aaa/b/c/bar/a/bar/b/bar/c/bar/a/aa/bar/a/aaa/bar/a/aaa/b/bar/a/aaa/b/cData copyIndexUpdateNo Transaction Guarantee Eventual Consistency较种流的分布式件系统
4、GlusterFS优势 数据件最终以相同录保存在指定节点的本地件系统上,集群不可时仍能在该节点上直接访问到数据。劣势 集群结构相对静态,不易调整;因为没有独元数据,元数据性能随集群规模扩下降。https:/docs.gluster.org/en/latest/Quick-Start-Guide/Architecture/ 套系统能同时满 Block、Object、File 三种形态。劣势 运维复杂;元数据持久化在 RADOS 中,如果要性能同样需要很的内存缓存;MDS 内使多线程提吞吐,在件操作的并发处理上复杂度幅提升。 Hadoop 态标准组件;有量实践经验积累。劣势 NameNode 缺少
5、横向扩展案;集群的运维挑战,如:Full GC;POSIX 访问协议,Java 客户端成熟度也不够。 10亿 100亿件管理;持 100PB 1000PB 容量规模;全托管服务,开箱即;弹性伸缩;多租户;Kubernetes CSI 持;访问协议?POSIX,HDFS,S3,NFS,CIFS,S vs.CephFS vs.HDFS云原环境下遇到的挑战都是向物理机设计,法弹性伸缩;没有全托管服务;元数据能是件系统的挑战;单集群规模挑战以及多租持改造难度。云原环境下分布式件系统的需要持 10亿 100亿件管理;持 100PB 1000PB 容量规模;全托管服务,开箱即;弹性伸缩;多租户;Kuber
6、netes CSI 持;访问协议?POSIX,HDFS,S3,NFS,CIFS,Samba云原环境下,如何设计分布式件系统 File System ArchitectureData(DataNode)Meta(NameNode)Client(Java SDK)云原环境下,如何设计分布式件系统 File System ArchitectureData(DataNode)Meta(NameNode)Client(Java SDK)S3GCSAzure BlobOSSCOSMinIOCephRGW云原环境下,如何设计分布