03-货拉拉大数据存储实践与AI时代的应对 .pdf

《03-货拉拉大数据存储实践与AI时代的应对 .pdf》由会员分享，可在线阅读，更多相关《03-货拉拉大数据存储实践与AI时代的应对 .pdf（24页珍藏版）》请在三个皮匠报告上搜索。

1、货拉拉大数据存储货拉拉大数据存储实践与实践与AIAI时代的应对时代的应对章啸货拉拉大数据基础架构存储背景介绍大数据数据灾备大数据存储跨云迁移AI时代下存储的挑战与应对02030401目录背景介绍01货拉拉介绍 2024年全球闭环货运交易总值最大的物流交易平台 2024年全球闭环货运GTV最大的同城物流交易平台 2024年全球已完成订单数量最多的物流交易平台 2024年全球平均月活商户最多的物流交易平台全球年订单7.79亿全球月活用户1670W全球月活司机168W全球市场11城市400+DC6+货拉拉大数据IDC机器数存储量日均任务数4+2000+40PB+20K+货拉拉大数据大数据大数据基础平

2、台基础平台基础层离线计算(Hive/Spark/Presto/.)实时计算(Flink)OLAP多维分析(Druid/CK/Doris)资源管理(YARN/K8S)离线存储(HDFS/COS)在线存储(HBase/ES)实时数据接入埋点数据接入数据对账数据链路监控离线数据接入数据接入平台数据接入平台接入层数据门户数据门户权限中心个人中心内容管理知识库建议反馈门户首页平台层&数仓数据研发平台数据研发平台飞流实时开发BQ数据即席查询IDP数据集成开发数据治理平台数据治理平台数据成本管理元数据管理数据安全管理数据质量管理数据服务工具数据服务工具数据智能支撑工具数据智能支撑工具服务层数据应用支撑服务工

3、具数据应用支撑服务工具指标库管理用户画像快捷分析快速报表数据上报数据云服务数据工具箱自助分析可视化固定报表大数据分析平台数据数据应用应用辅助决策类应用辅助决策类应用赋能业务类应用赋能业务类应用应用层智能营销智能广告投放实时报表鹰眼监控经营分析用户分析数据资产数据资产ODS贴源数据层DWS公共汇总服务层DIMDIMDWD明细数据层DWB明细数据整合层集市层标签画像体系特征体系指标体系AB Test特征平台AI平台DIM维表层大数据存储-体系介绍风控OLAP 分析数据 API实时看板画像 BQ 即席查询CanalFlink CDC神策自研数据库采集组件FlumeNoSQLsMQLogsHTTPRD

4、BMSKafkaSparkStreamingFlink飞流实时开发平台实时计算实时计算批计算批计算COS/Azure Blob StorageHDFSHive/Tez/MRPrestoSparkSpark SQLIDP数据集成开发平台元数据管理成本治理自建+云服务混合在线存储在线存储OLAPOLAP DorisDruidClickHouseHBase RedisPhoenixMySQL大数据数据灾备02灾备-背景误删勒索机房灾难灾备-数据误删三层防护，历史误删场景数据三层防护，历史误删场景数据追回率100%灾备-数据勒索与机房灾难 PB级数据灾备 全链路灾备：数据+元数据+链路任务 灵活管控：

5、全量/部分，实时/延迟灾备自研灾备系统 Kirk多 AZ 存储 vs 数据复制方案方案描述描述优点优点缺点缺点多 AZ 存储多个AZ存在完整副本数据备份与恢复时效高时效高多版本只支持对象协议多版本无法控制版本数量，成本不可控数据复制多个桶存在多份拷贝兼容多类型存储兼容多类型存储数据备份与恢复时效低灾备-数据勒索与机房灾难 PB级数据灾备 全链路灾备：数据+元数据+链路任务 灵活管控：全量/部分，实时/延迟灾备自研灾备系统 Kirk多 AZ 存储 vs 数据复制方案方案描述描述优点优点缺点缺点多 AZ 存储多个AZ存在完整副本数据备份与恢复时效高时效高多版本只支持对象协议多版本无法控制版本数量，

6、成本不可控数据复制多个桶存在多份拷贝兼容多类型存储兼容多类型存储数据备份与恢复时效低大规模存储跨云迁移03腾讯云数据平台解决方案架构AppsCOS数据迁移 MSPData Ingest Service全球加速Data Ingest AcceleratorData Store数据接入 Data Ingest数据加速 Data Accelerator数据智理 Data Insight数据万象MetaInsightData CatalogData EngineData ProcessComputer SideStorage SideGooseFS-LiteGa