【传音盛利】非洲之王-传音全球多云大数据架构助力企业降本增效.pdf

《【传音盛利】非洲之王-传音全球多云大数据架构助力企业降本增效.pdf》由会员分享，可在线阅读，更多相关《【传音盛利】非洲之王-传音全球多云大数据架构助力企业降本增效.pdf（31页珍藏版）》请在三个皮匠报告上搜索。

1、传音全球多云大数据架构助力企业降本增效 盛利 大数据平台与架构负责人目录一.传音大数据发展历史二.传音多云大数据架构1.多云发展契机 2.挑战与设计原则3.多云大数据平台架构三.传音多云架构下的降本增效四.云迁移的经验分享五.未来规划与展望传音-非洲、手机、移动互联传音是一家致力于成为全球新兴市场消费者最喜爱的智能终端产品和移动互联服务提供者的公司。业务覆盖了非洲、南亚、中东等70多个国家和地区。公司的愿景是聚焦非洲、激发全域生态价值，点亮数字化非洲，同时帮助更多企业驶向蓝海市场。传音大数据发展历史传音大数据发展历史1 1一.传音大数据发展历史2012019 9年年 业务爆发式增长业务爆发式增

2、长20222022年年关注用数体验关注用数体验20232023年年基于开源Airflow+Superset+Kylin离线大数据架构工 业 时 代：离 线 大 数 据 平 台工 业 时 代：离 线 大 数 据 平 台自研数据中台磐龙+EMR存算分离架构OneData、OneService、OneScheduler、OneSQL信 息 时 代：跨 地 域信 息 时 代：跨 地 域 湖 仓 一 体 架 构湖 仓 一 体 架 构基于多云，BU自闭环数仓，数据湖仓架构现 代 化 时 代：多 云 大 数 据 架 构现 代 化 时 代：多 云 大 数 据 架 构建立基于Crontab+Presto 古 文

3、 明 时 代：手 工 时 代古 文 明 时 代：手 工 时 代2012018 8年年 企业数字化转型，上云企业数字化转型，上云行业降本增效，多云行业降本增效，多云传音多云大数据架构传音多云大数据架构2 21上云：海外数据中心选型，传音大数据单云架构。32二、如何演进多云困难与挑战：为什么选择多个云？多云：传音大数据V2.0时代，多云架构的诞生，决策和收益分析。2.1 传音大数据海外数据中心选型-自建IDCVS上云选择云厂商要考虑的因素非洲地域的特殊性最终选择：当地份额占比头部云厂商网络基础技术环境安全环境地缘情况2.2 传音大数据单云架构存储：几十个PB级别计算：数十万核心级别作业：每天数万个

4、2.3 困难与挑战，为什么选择多个云？供应商锁定1.生态绑定2.服务依赖价格上涨 1.被垄断 2.缺乏议价权灵活性差 1.能力局限 2.难以移植通过选择不同的云厂商，可以获得更好的技术支持和服务，提高业务的效率和质量。避免被供应商绑定，从而提升了自由度和灵活性，可以利用不同供应商的独特能力。通过在不同的云平台上部署业务，可以提高应用程序的可用性和可靠性，从而提高用户的满意度。通过选择不同的云厂商，可以选择更适合业务场景的云服务，降低成本。提高敏捷性提升稳定性降低成本更好的服务困难与挑战多云的收益2.4 多云大数据平台挑战点多云数据服务标准不统一1.脚本语法、数据格式、安全策略、算法库不统一2.

5、所带来的学习成本高，迁移改造成本高多云数据治理复杂1.数 据 集 成 统 一 数 仓2.数 据 质 量 重 复 缺 失3.数 据 安 全 访 问 控 制 身 份 验 证 加 密4.法 规 合 规 G D P R多云多区域网络复杂1.专 线：数 据 加 密、身 份 认 证、访 问 控 制。高 速 稳定 可 定 制2.公 网：数 据 泄 露 和 攻 击 等 安 全。网 络 拥 堵 和 不 稳定 性多云运维难度高1.云 控 制 台、A P I 复 杂、掌 握 多 种 技 术 和 工 具，复 杂 的 依 赖 关 系 和 交 互 关 系，因 此 需 要 进 行 复 杂 的配 置 和 管 理2.多 种 安

6、 全 策 略、认 证 机 制、访 问 控 制 等，这 些安 全 措 施 需 要 进 行 统 一 管 理 和 监 控成本稳定性效率2.5 多云架构设计原则设计原则1.存算分离架构：EMR+ObjectStorage2.计算弹性伸缩：云内/云间弹性伸缩3.组件归一化：流批一体，引擎统一1.开源标准：开源大数据组件，如Hadoop/Kafka/Spark/Flink/CK/Doris等2.云原生技术，如容器化K8S统一解耦云中立轻架构1.减少依赖：尽量减少多个区域的数据依赖2.区域自治：每个数据中心组件的选型尽量一致，减少组件依赖3.统一管理：建立自动化部署和