当前位置:首页 > 报告详情

2020Flink峰会报告:7-朱广彬-360ULTRON-FFA2020-TSY.pdf

上传人: li 编号:29340 2020-12-01 36页 390.90MB

1、ULTRON 36 基于Fli63D实时数仓平台 36 R0-l-tim0 DW Pl-tform b-s0d o6 Fli63 ? ? 架构设计 ? ? ? D景与需求 ? ? ? 平台化之路 ? ? ? 演示 ? ? ? 总结与展望 ?Roa& of platformization emoSummary & Prospect 背景与需求 ack&round & Requirements ? ? ? A于360商业化数据 Ab5ut 360 c53306ci,2iz,ti5n /,t, ?高峰期大约产B实时数据50Gb 7, 业务消费处理带宽200Gb 7,处理消息大约700WT 7 ?日G

2、处理量超过千亿T,上WTB ? ? ? ? 实时的重要性 m-ortance of real time 实时报表 (Real-time Re-orting) ? 实时监控 (Real-time monitoring) ? 实时模型反馈与策略控制 (Real-time machine learning) ? 实时E构F进(从Storm到Fl-nk的变革) R)al-t-m) ar(h-t)(tur) )volut-on(Chang) from Storm to Fl-nk ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 初C实时E构 (Early r)al-t-m

3、) ar(h-t)(tur) Fl-nk取代Storm (R)pla() Storm to Fl-nk ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? U-tr0n 1.0 F-ink 0n Mes0s实时流计算管理平台 U-tr0n 1.0 - F-ink 0n Mes0s Rea-ti.e strea. c0.1uting .anage.ent 1-atf0r. E在RW题 Existing problems ? ? ? ? ? ? ? ? ? 实时数据没M数仓化 &eal time data is not DW managed ? ? ? ? ? H发D杂度高、管理成本高 Hig/ dev complexity / /ig/ Mgmt cost ? ? ? ? ? 实时离线不统一 &eal time & o-line dis

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要介绍了基于Flink的实时数据仓库平台Ultrion的设计与实现。Ultrion平台能够处理高峰期约50Gb/s的实时数据,业务消费处理带宽200Gb/s,处理消息大约700WT/s,日处理量超过千亿T。文章详细阐述了实时报表、实时监控、实时模型反馈与策略控制的重要性,并从Storm到Flink的变革,介绍了实时数据仓库架构的演进。Ultrion平台实现了批流一体的数仓架构,基于Flink SQL进行作业开发,提供了统一Hive UD管理,实现了实时Drui+与Presto的结合。此外,文章还讨论了微服务架构、平台无关性,以及未来服务架构的趋势。
实时数据仓库如何实现批流一体? Flink SQL如何优化作业开发? 微服务架构如何实现平台无关性?
客服
商务合作
小程序
服务号
折叠