4-王加胜 - Flink 在小米的平台化实践 - MG的副本_compressed.pdf

《4-王加胜 - Flink 在小米的平台化实践 - MG的副本_compressed.pdf》由会员分享，可在线阅读，更多相关《4-王加胜 - Flink 在小米的平台化实践 - MG的副本_compressed.pdf（34页珍藏版）》请在三个皮匠报告上搜索。

1、Flink 在小米的平台化实践 ? ? ? ? ? ? ? 小米 王加胜 ? ? ?&? #2 ?B? ? ? ? #1 F? ? ? #3 ? ? ? #4 业务现状与规# ? ? ? #1 整体架构 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 业务层 业务层 发展历史 ? ? ? ? ? 第0个内部5 码提4 1线62管理服9， 接7第0个62 1.9版本发布， 接7200+62 1.10版本发布 第0个内部 +elease发布 .1.7版本） 接762 1000+ 2019.012

2、019.042019.052019.112020.062020.11 8务规模 ? ? 1000+ 运行作8 ru00i0g a22licati10s 20000+ CPU C1r+ 81+TB M+m1ry 业务场景 ? 信息流 推荐 ? 商业广告 ? 小爱 ? 实时数仓 ? ? 新零售 ? ? 用户画像 ? ? #台化实践 ? ? #2 ? ? ? SQL编F提交 ? ? ? ? Auto DDL 语法检测 ? ? UDF管理 ? ? 在A调试 ? ? 失败D动重试 ? ? 失败积压报警 ? ? ? ? 监控大屏 ? ? 异常日志收L ? ? 异常智能分析 ? ? Auto L 持久化存储

3、 不同系统数据表 比较复杂 实时拉取元数据 自动生成 L ? Auto L ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? UDF管理 ? ? 兼容 Hive UDF ? ? 自定义 UDF ? ? ? ? ? ? ? ? ? ?版本信息? UDF管理 ? ? ? ? ? ? ? ? ? ? ? ? ? 在1调3 ? ? ? ? ? ? ? ? ? ? 2. 多.数据源 ? ? ? ? ? 3. 立即运2 ? ? ? 4. 前端输出 ? ? ? ? 1. 4法检测 ? ? 在线调试 ? ? ? ? ? ? ? ? ? ? 完善生态 ? ? Talos HDFS Talos HDFS Kudu ES Doris Redis TSDB Falcon HDFSMySQLRedis ? ? 案例一、实时写入Doris ? ? ? ? ? ? ? ? ? ? ? ? 低延迟 ? ? 灵活