01-字节跳动云原生大数据发展之路-余炜强.pdf

1、字节跳动云原 数据发展之路余炜强 引擎云原计算架构师我介绍2015-2022 美菜营销数据中台、推荐平台负责 2022-2023 字节云原计算架构师，负责云原数据横向架构 录字节云原数据背景字节云原数据实践0102未来发展01030101字节云原数据背景0101字节云原数据背景规模性能稳定定制优化实时化智能化存算分离云原化安全合规产品体化 已有的基础运营能弱运维负担业务接复杂成本压 临的问题 技术趋势EB级存储，TBps级实时流量，千万core资源调度云原数据构建思路规模化=实时化垂直化=整合化中化=分离化 规模实时计算 规模存储能 极致实时优化 实时处理 实时分析 实时效 统云原存储体系 统

2、容器调度体系 站式数据平台 流批体化 离在线体化 软硬件体化 多模数据体系 混合云能 多云资源管理能 统的基础架构 轻量化 内聚低耦合 平台化=智能化敏捷构建=标准增强 数据+智能 可分析 可预测 可优化 智能优化 智能运维 成本优化 安全合规 数据治理体系 Serverless化 解决案字节云原数据背景字节云原数据实践0102字节云原数据实践数据存储多云资源纳管持多种存储介质和存储底座。纳管不同环境的存储资源。例如：ssd，硬盘，远程磁盘，对象存储数据性能实时读写持实时横向伸缩，应对实时突发过载。低延迟读写，端到端读延迟 30ms,写延迟=300billion 多级存储动优化存储成本 兼容H

3、CFS 字节云原数据实践存储 引擎数据 底座运时服务多云可容灾持多云容灾调度，为数据作业提供有效的容灾持。秒级容灾恢复，保证数据作业稳定运。离在线体离线在线资源调度体化。共享资源，降低流量潮汐带来的资源浪费。运维、管控服务统，降低维护成本。资源弹性快速应对流量过载，提离在线资源转化效率，为重活动场景提供坚实的技术撑多租户资源隔离持多租户的资源隔离字节云原数据实践字节云原数据实践云原进程解决的问题和痛点 可以做到资源跨机房弹性 管理数据、应、络依赖，复杂且困难 弹性受到应依赖和机房容量上限制约 资源碎多整体利率低统资源湖案 统的资源管理，运维和管理成本低 离在线体化调度，平滑迁移传统数据应 可以

4、跨机房、跨集群、跨群快速转化资源 全链路资源优化，资源利率运时服务字节云原数据实践数据计算引擎站式数据平台持开发、调试、运维、调度，Olap数据治理等站式数据服务。统元数据服务持湖仓体、流批体化、数据AI体化，多数据源管理的统元数据服务。开源增强特性为开发、运维、快速故障恢复、弹性扩缩、资源管理等提供企业级增量能。多租户资源共享资源共享带来更低成本。状态多租户共享的离线开发和交互式开发平台。多租户共享底层计算存储资源字节云原数据实践字节云原数据实践 产品体系复杂 学习成本 互联互通难 数据治理难度 运维管理复杂 产品运营复杂 产品体系简单 学习成本低 数据/具互通 统数据治理 运维管理简单 产

5、品运营简单 数据计算引擎字节云原数据实践数据计算引擎字节云原数据实践云消息引擎即时弹性实时计算、在线应都持弹性扩缩。消息引擎也需要持即时弹性扩缩才能得到更好的资源利。性能规模读写持TB级别规模数据读写，PB级数据存储。兼容开源+流批体兼容Kafka协议，持数据量存储，同时持流式读取和批式读取秒级容灾恢复作为实时计算和在线应的基础中间件，应当持秒级容灾恢复，减少故障恢复带来的业务损失。字节云原数据实践字节云原数据实践存算分离架构-对Kafka扩容对Kafka:27天 ByteMq:1分钟以内运维复杂度 Kafka:恢复broker Kafka:数据容量管理 ByteMQ:动秒级容灾恢复 Byte

6、MQ:近乎限数据容量重启时间Kafka:510分钟 ByteMQ:15秒字节云原数据实践云消息引擎字节云原数据实践云消息引擎字节云原数据实践云搜索规模存储持持PB级别数据存储，单集群持百万分，引写均衡技术。分钟级数据恢复。性能压缩算法。稳定性增强持熔断限流，持丰富熔断策略和query级别熔断覆盖部分异常场景。企业级运维持持全链路监控，持存储计算资源运维、集群运维。Query诊断和管理。性能吞吐持从hive/hdfs外部构建，低资源占10倍写速度。持物理复制。持模糊查询、向量化查询，性能点查，语义增强。使场景：全检索