8-栾艳明 - Flink 实时计算在小红书几个场景的应用的副本_compressed.pdf

1、Flink Flink 实时计算在小红书的应用实时计算在小红书的应用 How we use Flink in XiaoHongShu 栾艳明 - 小红书实时数据平台工程师 小红书：标记你的生活 1亿+ 月活 80亿+ 每日笔记展示 基础设施基础设施 # #2 2 推荐算法场景推荐算法场景 # #1 1 接下来的挑战接下来的挑战 # #3 3 Q 基础设施基础设施 上任务流程上任务流程(UDF + DDL + DML)(UDF + DDL + DML) 上任务流程上任务流程 SQL Editor UDF + DML Sql ValidatorRun SQL Flink Cluster on k8

2、s Job Submit监控 报表 create table xxxx; insert into xxxx; 上任务流程上任务流程 SQL Editor UDF + DML Sql ValidatorRun SQL Flink Cluster on k8s Job Submit监控 报表 & API & .设置报警Stop SQL 基础设施基础设施 基础设施基础设施 监控监控 & & 故障故障 BreakdownBreakdown Job 关键 Metrics -Kafka Record Latency -CheckPoint fail -JobRestart -Kafka 关键指标 fetc

3、hLatency -延迟 breakdown Task / Operator Queue Watermark -统一的 Lookup Metrics (FLIP-33) -GC -RocksDB 基础设施基础设施 监控监控 & & 故障故障 BreakdownBreakdown 硬件相关 Metrics 上任务流程 SQL Editor UDF + DML Sql ValidatorRun SQL Flink Cluster on k8s Job Submit监控 报表 & API & .设置报警Stop SQL 基础设施基础设施 上任务流程 SQL Editor UDF + DML Sql ValidatorRun SQL Flink Cluster on k8s Job Submit监控 报表 & API & .设置报警Stop SQL 基础设施基础设施 # 释放/回收资源 helm