《哈啰出行:基于阿里云数据湖构建实践——云原生企业级数据湖论坛-全链路数据治理峰会(9页).pdf》由会员分享,可在线阅读,更多相关《哈啰出行:基于阿里云数据湖构建实践——云原生企业级数据湖论坛-全链路数据治理峰会(9页).pdf(9页珍藏版)》请在三个皮匠报告上搜索。
哈啰出行:基于阿里云数据湖构建实践赵嘉寅哈啰出行资深技术专家Contents目录01 哈啰出行介绍02哈啰大数据团队03哈啰数据湖实践基于出行的普惠生活服务平台智能技术驱动精细化运营哈啰大数据团队计算平台团队数据开发平台团队数据引擎团队DataDevOpsDataBIOpsDataAIOps智能调度智能匹配搜索推荐公共数据业务数据实时数据数据接入计算存储数据服务数据资产团队业务数据哈啰数据湖解决方案架构数据湖存储IOTBinlog日志埋点图片音频视频数据接入实时接入离线接入私有云公有云OSS文件存储数据湖中间件SchemaACID引擎插件化支持流批数据湖管理计算引擎计算平台HiveSparkPrestoFlink离线平台实时平台算法平台数据服务数据治理冷备周期数据安全元数据数据质量生命周期权限管理数据血缘数据应用App-1App-NApp-2.哈啰数据湖对数仓建设的优化KafkaFlinkStreaming task数据湖交互式存储Streaming taskKafka实时性要求高场景分钟级实时场景数据湖ODSDWDDWSDWS湖仓一体,兼容传统数模型one sql数据指标数据分析统一数据服务数据应用哈啰数据湖对算模型的优化实时特征离线特征模型训练T+1FlinkSpark实时特征离线特征模型训练分钟级FlinkFlink统一引擎统一口径近实时特征工程特征工程THANKS