4-陈戊超-基于 Flink的在线机器学习系统架构探讨ppt+demo_compressed.pdf

1、基于 Flink 的在线机器学 习系统架构探讨 秦江杰 阿里巴巴实时计算 Flink 生态团队负责人 陈戊超（仲卓） 阿里巴巴实时计算技术专家 Alibaba Inc. Staff Software Engineer Senior Manager Apache Flink PMC Member Apache Kafka PMC Member Speakers Alibaba Inc. Software Engineer Flink-AI-Extended Project Member Alibaba Porsche & AOP Project Member 机器学习实时化 与流批一体 数据处理

2、 模型训练 机器学习工作流 #2 机器学习实时化 特征工程 样本生成 模型训练 #1 Flink AI Flow 核心思想 架构与实现 系统生态对接 #3 Demo #4 Q&A #5 机器学习实时化#1 样本生成 从离线样本到实时样本 模型训练 离线训练 T+1 更新到增量训练实时 更新 机器学习各个阶段的实时化 #2#3 特征工程 从静态特征到动态特征 #1 Applications Online Nearline Offline Inference Features Feature Update Model Update Feature Generation & Model Traini

3、ng Queue Application Logs ETL 传统机器学习链路 Nearline Online Nearline Offline Applications Feature Generation & Model Training Nearline Feature Gen. Inference Features Feature Update Model Update Nearline Training Nearline Model Update Nearline Sample Gen. Queue Application Logs ETL 实时化的机器学习链路 Nearline Online Nearline Offline Applications Feature Generation & Model Training Nearline Feature Gen. Inferen