专场6.5-数字化时代MySQL数据归档系统建设思路与实践-冯光普.pdf

1、数字化时代MySQL数据归档系统建设思路与实践冯光普 多点DMALL数据库团队负责人大事小做，大事变成小事小事大做，则小事变成大事陶行知1.DBA面临的归档挑战：安全、效率、成本2.归档存储选型、成本分析、如何利用云原生优势3.归档工具/平台建设实践，面向研发自助交付4.对数据冷热分离技术未来展望Contents多点DMALL数据团队负责人MySQL、TiDB、Redis、MongoDB数据库平台：为研发体系输出规范化流程及服务DB中间件，双活架构更早，阿里巴巴数据库AliSQL团队冯光普1.DBA面临的归档挑战：安全、效率、成本2.归档存储选型、成本分析、如何利用云原生优势3.归档工具/平台

2、建设实践，面向研发自助交付4.对数据冷热分离技术未来展望Contentso 云端集中式数据存储o 人、货、场数字化，数据大量产生o 系统持续迭代、数据快速增长供应链以“需求预测、流程在线、数据协同”为核心系统的敏捷供应链能力商品以“智能选品、可视化陈列、AI自动补货”为核心系统的智能商品决策能力品牌基于全渠道零售数据，结合多点品牌家系统，助力品牌商费效比提升与营销活动渠道下沉门店以“员工在线、智能调度、任务协同、量化管理”为核心系统的门店经营能力会员以数字会员、精准营销、全渠道触达、ROI追踪”为核心系统的会员运营能力零售数字化-SaaS场景-24个存储节点-60TB数据某生产TiDB集群（从

3、多个上游MySQL同步聚合数据），上线不到一年成本DBA面临的归档挑战：安全、效率、成本安全效率成本o 大批量数据归档，存稳定性风险，焦虑o 数据增长，归档频繁，疲于应对o 冷数据存储成本越来越高，压力大1.DBA面临的归档挑战：安全、效率、成本2.归档成本分析、存储选型、利用云原生优势3.归档工具/平台建设实践，面向研发自助交付4.对数据冷热分离技术未来展望Contents归档成本分析资源成本管理成本频繁归档数据找回容量管理持续增长冗余可靠冷备/文件在线/实例性能归档存储/需求支持在线查询-无须从冷备中恢复-可接受的查询性能兼容MySQL-MySQL协议（TiDB）-数据类型兼容便宜对象存储

4、易扩展-弹性扩容-无限容量可靠归档存储/选型特点S3存储引擎，表转储成S3后只读块设备Aria引擎-对象存储S3表云原生数仓、AP能力好需做转换/映射：表定义、字段类型优势表定义、数据类型一致；索引可用压缩率高（10 x）支持几乎所有公有云厂商对象存储数据压缩率高（10 x）适用归档少量数据，表不超过本地块设备在线点查（二级索引）归档大量数据（10TB+）、可持续归档在线分析（Parquet）对象存储归档存储/压缩mysql alter table po_historyENGINE=S3 COMPRESSION_ALGORITHM=zlib;mysql show create table po

5、_history;CREATE TABLE po_history(id bigint(20)NOT NULL AUTO_INCREMENT,shop_name varchar(40)DEFAULT,.closed smallint(6)DEFAULT,PRIMARY KEY(id),)ENGINE=S3 COMPRESSION_ALGORITHM=zlib mysql select count(*)from po_history;+-+|count(*)|+-+|8281892|+-+1 row in set(0.14 sec)2969330InnoDBS3在线SQL查询运维友好对象存储无限容

6、量归档存储/降本效果SSD价格HDD价格腾讯云对象存储COSCloud Storage Service使用对象存储价格降至10%数据压缩（3x10 x）存储空间降至20%成本降低98%+12对象存储S3价格1.DBA面临的归档挑战：安全、效率、成本2.归档成本分析、存储选型、利用云原生优势3.归档工具/平台建设实践，面向研发自助交付4.对数据冷热分离技术未来展望Contentspt-archiver的问题-bulk模式下（load file），遇到JSON字段特殊字符，处理有异常-串行方式执行SELECT-INSE