《肖博-ABC场景驱动下如何制定数据库与存储技术规划(25页).pdf》由会员分享,可在线阅读,更多相关《肖博-ABC场景驱动下如何制定数据库与存储技术规划(25页).pdf(25页珍藏版)》请在三个皮匠报告上搜索。
1、 全球敏捷运维峰会 广州站 全球敏捷运维峰会 广州站ABC场景驱动下,如何制定数据库与存储技术规划vivo 肖博 全球敏捷运维峰会 广州站肖 博vivo 通用存储研发组总监职业经历百度数据库团队同程艺龙数据库团队技术分享vivo大规模Redis集群实践基于 Redis Cluster 的灾备与同城双活实践大规模多存储场景的数据库选型与服务平台建设之路 全球敏捷运维峰会 广州站目录数据存储技术的本质数据存储技术的现状数据存储技术发展规划 全球敏捷运维峰会 广州站存储介质:龟壳特点:容量极小、读写效率低甲骨文存储介质:竹子特点:容量较小、读写效率较低竹简存储介质:纸张特点:容量较大,读写效率较高书
2、本存储介质:磁介质特点:容量大,读写效率较高磁盘存储介质:NAND特点:容量大,读写效率高追本溯源 全球敏捷运维峰会 广州站数据存储的诉求 数据类型多 存储规模大 数据写入快 数据读取快 存储成本低 连续服务 数据安全多快省好 全球敏捷运维峰会 广州站数据存储的本质数据存储数据读取存储规模 全球敏捷运维峰会 广州站目录数据存储技术的本质数据存储技术的现状数据存储技术发展规划 全球敏捷运维峰会 广州站行业头部在做什么 自研数据库/存储产品 挑战金融场景 选择部分或者全部开源 弹性伸缩、存算分离等分布式特性 智能优化、智能运维 统一管控,HTPA多模等特性 社区运营、生态建设、认证培训 全球敏捷运
3、维峰会 广州站更敏捷敏捷交付对数据库以及存储服务而言,在软件研发过程中能够快速的交付满足业务需要的存储服务和数据库敏捷变更对数据库以及存储服务而言,在服务运行和运维过程中的各种变更能够足够的快捷,足够的轻量。全球敏捷运维峰会 广州站更高的性能用户体验内容与场景同质化的情况下,各软件比拼的更多是用户体验,而大多数软件或者应用都是围绕着数据展开的,存储服务与数据库产品的性能显的尤为重要公司收入在广告服务、推荐场景、自然语言处理等场景中整体服务的性能都会受到存储和数据库服务的性能影响 全球敏捷运维峰会 广州站更大规模数据规模移动互联网、工业互联网等产生大量的数据,各种IOT设备源源不断的产生数据,参
4、与数据生产加工的人群越来越多,数据规模的不断增加,分布式架构已经成为常态数据类型结构化、半结构化、非结构化的数据类型以及AI、大数据等场景对数据产生的需求,支撑各类数据存储的产品百花齐放数据类型数据分层表现明显,需要实时处理的数据占小部分,有大量的冷数据需要处理,归档存储和冷存储的成本越来越高 全球敏捷运维峰会 广州站更低的存储成本资源利用率购买的服务器资源有没有被充分的利用,服务器的CPU、内存、磁盘利用率如何,资源利用率的考核成为企业的常态,数据库和存储服务的虚拟化、容器化、资源混合部署等技术逐渐成熟成本量化单个业务或者产品的ROI需要把用到的所有资源进行量化,对存储和数据库服务同样需要,
5、账单服务的诉求也越来越强烈 全球敏捷运维峰会 广州站更多的安全诉求安全意识全球数据泄露事件频发,敏感数据通过网络进行扩散进而产生不良影响,用户目前对个人隐私数据保护的意识越来越强烈合规要求各个国家和区域密集出台数据安全的条例和法规,安全合规已经影响到企业能否正常开展业务 全球敏捷运维峰会 广州站软硬结合内核旁路内核旁路在解决软件性能问题中越来越多的被使用,dpdk、spdk等将技术日益成熟并被应用专用硬件专有的硬件设备从各个方面来提升软件性能,和硬件设备结合能更大性能的提升软件性能,如AEP,DPU,智能网卡等等 全球敏捷运维峰会 广州站交叉融合一体化流批一体、湖仓一体、HTAP等可以减少数据
6、流动、降低成本、提升效率的方案和概念不断被挖掘和实现多模存储将多个系统组合使用的解决方案下沉为数据库内置能力,HTAP、多模数据库等产品不断涌现 全球敏捷运维峰会 广州站智能智能运维基于已有的运维数据,通过机器学习的方式将运维动作智能化,进一步解决因业务扩张,高人力成本难以维系的问题智能优化将AI技术应用于索引优化,智能索引推荐技术已经在某些数据库产品中有落地,数据库参数智能优化也在不断探索 全球敏捷运维峰会 广州站目录数据存储技术的本质数据存储技术的现状数据存储技术发展规划 全球敏捷运维峰会 广州站方法论主见新的