1-蒋文伟-FlinkSQL在音乐的产品化实践-TSY.pdf

1、Flink SQL在云音乐的产品化实践 网易云音乐 蒋文伟 产品功能 Features #2 简介 Introduction #1 性能优化 Performance #3 运维完善 Operations #4 未来规划 Future #5 Flink SQL云音乐产品化简介 Introduction to Flink SQL used in Netease. #1 Flink in Music 支撑音乐每日数千亿数据量的日志输入 对接数百个外部数据源 提供数百名同学进行实时计算开发 运行数千实时计算任务 多种业务场景支撑 应用场景 use scene Content 内容分发 Report 实

2、时报表 Recommend 推荐业务 Index 索引任务 Monitor 实时监控 Example for distribution What is distribution 分发是常见的经典场景 将日志流按业务切分 实时业务的上游 对性能、稳定性有要求 流量控制、持久化等需求 遇到的问题 Problems 开发效率低，业务标准流程难以复用 未能方便的提供标准的组件 定制组件：定时文件清理 学习成本较高：SQL 化开发过程中依然需要详细的配置文档 遇到的问题 Problems 通过SQL方式进行HDFS Sink 的配置 外部环境混乱：数据权限难于管理 血缘、监控、报警等配套不统一 遇到的问

3、题 Problems 血缘关系常常用于数据治理 Example For Snapshot What is snapshot 将特征的历史版本进行存储 Why need snapshot 防止特征穿越 实时模型效果提升的重要一环 Example For Snapshot 大量实时计算的需求 业务复杂 要求高可用，低延迟 遇到的问题 Problems 开发成本高，调试相对复杂 特殊需求无法快速满足 定制需求：不同认证方式的Http Sink 传统调试方式 调优需要对Flink有较为深入的理解 运维成本高，排查问题困难 业务的指标无法监控 每次升级都是一次挑战 遇到的问题 Problems 产品化目标 our goal 降低用户的学习成本、运维成本 提升用户的开发效能 在性能/监控等方面进行赋能 打造云音乐实时计算一站式平台 云音乐的实时计算Notebook服务 Introduction to