报告预览

字节基于HUDI的批流一体存储实践.pdf

编号：121872

PDF 25页 5.23MB 下载积分：VIP专享

下载报告请您先登录！

字节基于HUDI的批流一体存储实践.pdf

1、字节跳动批流一体存储实践演讲人：耿筱喻火山引擎技术专家2023 背景与挑战设计方案落地场景未来规划背景与挑战传统数仓架构批流一体架构批流一体 SQL 一套 SQL 同时流式执行用于实时构建及批式执行用于离线回溯一套 SQL 同时支持数据构建与数据分析批流一体存储一份存储同时支持流式的增量读写以及批量读写支持高效的 OLAP 查询支持高效的维表 Join!#$%!#$%!#$%LAS(Lakehouse Analysis Service)湖仓分析引擎湖仓开发工具SparkPrestoFlink批流一体SQL统一元数据统一目录权限管控元数据发现湖仓存储内置存储其他数据源TOSRDSEM

2、RMQ分布式文件存储批流一体存储引擎弹性资源VKE/VCI湖仓存储湖仓分析引擎队列管理数据管理查询分析作业管理权限管理生态连接湖仓分析平台统一元数据 ACID 支持企业级权限管控极致弹性引擎极致优化经典实时数仓架构日志计算场景长周期计算场景全量计算场景经典实时数仓架构实时存储不统一实时离线存储能够统一冷启动流程复杂且耗时回溯中间数据不可查批流一体存储批式分区并发更新 Hive 表读写吞吐流式低延迟写入/消费 RPS 一致性语义多引擎支持批流一体存储方案湖仓一体架构Hudi批流一体存储架构批流一体存储架构数据组织形式批流一体存储架构数据读写方式BTS 架构落地场景流式数据计算场景多维分析场景日志场景批流复用场景飞书数仓飞书实时数仓未来规划未来规划业务场景探索负载分离/均衡查询优化 Native Engine 集成感谢您的观看

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（字节基于HUDI的批流一体存储实践.pdf）为本站（2200）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。