当前位置:首页 > 报告详情

浙江电信 Apache Doris 实战之路 - 喻志强 浙江电信.pdf

上传人: 表表 编号:599495 2025-01-24 19页 4.30MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要介绍了浙江电信在建设大数据平台过程中,采用Apache Doris实践的经验分享。电信大数据中心负责人喻志强详细阐述了浙江电信大数据平台的建设历程,从最初的基于Teradata建设B域数据仓库,到构建数据中台,实现开发运营模式优化,以及深化湖仓一体/流批一体架构应用。目前,浙江电信已将部分业务从Oracle、PG、ES迁移到Doris,实现了实时数仓汇聚、生产加工和应用的整体采用Doris完成。 关键点如下: 1. 浙江电信大数据平台采用Apache Doris作为查询库、BSS运维库,实现实时数仓和离线数仓的统一汇聚、生产加工。 2. 从2.0.x版本升级到2.1.x版本后,Doris在性能和稳定性方面有显著提升,整体性能提升了30-50%,稳定性提升超30%。 3. 电信自研实时入湖平台,数据统一写入Iceberg,对存在compaction问题由Doris预处理,满足实时数仓需求。 4. 湖仓一体架构深入建设,将业务系统原有的报表库、运维库从Oracle、PG、ES逐步改造到Doris,构建业务库的专区。 5. 后续规划探讨包括:资源隔离能力优化、探索异构化、半结构化数据的能力支持、优化当前架构、压降运营成本以及跨源访问优化等。
"Apache Doris 实践中的挑战与收获" "湖仓一体架构如何提升数据处理效率?" "未来数据中心的存算分离与优化策略"
客服
商务合作
小程序
服务号
折叠