Flin在陆金所的实践与应用_compressed.pdf

1、Flink在陆金所的实践与应用 Introduction of Flink Practice and Application Scenarios in LUFAX 何富贵 陆金所机器人团队 大数据实时计算高级工程师 尹冰 陆金所大数据架构与研发团队 高级工程师 Agenda Flink SQL数据平台 Data Processing Platform Based on Flink SQL #2 Flink在陆金所的架构和应用 Flink Application Scenarios and Architecture in LUFAX #1 动态规则引擎 Dynamic Rule-matching

2、 Engine Based on Flink #3 Flink在陆金所的架构和应用 Architecture and Applications of Flink Real Time Data Processing Platform in LUFAX #1 Flink实时处理平台整体架构 Architecture of Flink Real Time Data Processing Platform 行为埋点 业务数据 日志消息 Nginx Canal Logstash 消息队列 （Kafka） 数据清洗 HBase ES Druid Redis HDFS Streaming 标签系统 数据监控

3、 指标计算 维表关联 复杂事件分析 实时推荐 实时触达 BI分析 数据接入/ Data IngestionFlink实时处理/ Realtime Processing数据存储/ Storage 应用/ Application 发布平台监控告警 运维平台日志检索 陆金所Flink实时系统数据流 Intrduction of Flink Apllication Scenario in LUFAX 实时推荐场景： 1. 单品页浏览明细 2. 今日销冠和今日复购前5 断点机器人场景： 1. 风险评测断点 2. 充值断点 3. 绑卡断点 基于Flink SQL的实时数据平台 Real Time Data Processing Platform Based on Flink SQL #2.1 Flink SQL高频使用场景 Frequently Applied Scenarios with Flink