张雷-云数据库技术挑战与趋势：字节跳动的实践洞察-掘金.pdf

1、云数据库技术挑战与趋势：字节跳动的实践洞察张雷字节跳动数据库负责人目录C O N T E N T S字节跳动数据库发展情况01.面临的挑战02.未来的产品技术趋势03.目录C O N T E N T S字节跳动数据库发展情况01.面临的挑战02.未来的产品技术趋势03.字节跳动快速发展2017DAU 1亿+业务微服务 8 千+2019DAU 4亿业务微服务 5 万+2023DAU 6亿+业务微服务 30 万+信息流业务今日头条抖音社交互动类抖音朋友页电商交易类抖音商城直播类业务抖音直播电商直播丰富的数据库产品体系RDSveDBCacheKVGraphTime SeriesDocumentHTA

2、PServerless DB刀耕火种的石器时代数千套库/几十万实例Redis/MySQL/Abase脚本为主+少量平台大规模自研产品及平台化时代万余套库/百万实例托关类：Redis/MySQL/MongoDB/InfluxDB等自研类：veDB、DocumentDB、Graph、KV平台为主+少量长尾脚本体系化、云化、智能化时代万余套库/百万实例托关类：Redis/MySQL/MongoDB/InfluxDB等自研类：veDB、DocumentDB、Graph、KV、HTAP、ServerlessDB全面平台为主+AIOPS字节跳动数据库产品之路目录C O N T E N T S字节跳动数据库

3、发展情况01.面临的挑战02.未来的产品技术趋势03.那么，过去5年字节数据库主要在解决什么问题？规模化的问题，是过去五年最大的挑战实例容量服务器1020020002017年2019年2023年2002000200002017年2019年2023年202005002017年2019年2023年过去五年，规模爆发式增长软件开发是件复杂的事情大家都知道规模化云数据库服务建设是一个多维的复杂的事情30w+服务器规模多Region多AZ多机房网络建设：网络冗余、虚拟化网络IntelAMDZNS分布式缓存：redis兼容、2000分片分布式RDS：veDB、128TB容量分布式Graph：万亿点边大图分

4、布式KV：Abase、10w+服务器集群强一致、最终一致性算法分布式事务分布式图计算、图学习自研高性能单机引擎500w实例的管理系统、平台云原生k8s数万工程师用户使用支持各个节日活动经营、支撑日常服务SLA监控容量管理，扩容，缩容成本管理、经营预测新功能灰度发布、变更BugFix规模化基础设施建设规模化软件系统设计开发规模化系统运维、运营字节数据库需要解决什么问题？2024一些挑战30万+服务器数十个DBA十万数据ETL链路服务者持有成本用户接入系统运行时人与系统交互Oncall：300+/天,30分钟+/条单工程师需要掌握多个数据库产品和使用姿势，过于复杂的系统架构众多工程师维护不同的产品

5、横向系统间损耗：以RDS为例，每天有万亿条 消息DTS到其他系统，例如hive、clickhouse等进行处理纵向系统间损耗：redis+KV/RDS构建了分层的业务数据架构，大量的冗余数据、运维成本300K*50K=150亿/年(假设一台服务TCO 5w/年）基础的供应链成本各个服务的系统利用率存储计算核心技术TP、AP一体化，用户无感计算存储分离，极致弹性From Day one build on Cloud Infra,计算based on K8S数据存储on TOS(对象存储)数据库引擎插件化，应对不同workload弹性独立扩展效果接入成本下降：一条SQL命令完成接入，避免了传统方式

6、需要申请多组件资源并搭建同步链路，接入成本几乎为0使用成本降低：维护成本：100%兼容mysql协议，并通过自动分流能力，用户能无感使用AP加速能力；从维护多种组件及繁琐的同步链路中释放出来，部分场景下：单用户维护成本从20人降低到2人，研发成本降低达90%；资源成本：利用行列混存技术，从3份逻辑数据（TP/中间件/AP），降低到1份，整体存储成本下降66%。字节跳动的实践产品融合化之-ByteHTAP2019前：单机RDS+ETL2022后：ByteHTAPTP or AP?TP requestsMiddlewareAP requestsETLNodeETLNodeETLNodeOLTP R