3-沈磊-Flink 在有赞的实践和应用-TSY.pdf

《3-沈磊-Flink 在有赞的实践和应用-TSY.pdf》由会员分享，可在线阅读，更多相关《3-沈磊-Flink 在有赞的实践和应用-TSY.pdf（29页珍藏版）》请在三个皮匠报告上搜索。

1、Flink 在有赞的实践和应用 沈磊 有赞数据研发 Flink SQL 实践和应用 #2 Flink 的容器化改造和实践 #1 未来规划 #3 Flink 的容器化改造和实践#1 2021.042020.112020.06 Text here Text here Copy paste fonts. Choose the only option to retain text. Text here Copy paste fonts. Choose the only option to retain text. Text here Copy paste fonts. Choose the only

2、option to retain text. Text here Copy paste fonts. Choose the only option to retain text. 2018.062016.122014.07 实时计算集群演进 第一个 Storm 任务正式上线 所有 Flink 任务 K8s 化 Storm 集群正式下线 100% Flink Jar 任务 K8s 化， K8S 作为Flink Jar 默 认计算资源，Flink SQL 任 务 On Yarn，Flink 统一实 时开发 引入 Flink ，作业模式 为 Flink on Yarn Per Job 引入 Spar

3、k Streaming， 运行在 Hadoop Yarn Flink 支持的业务场景 算法实时 特征处理 风控埋点实时支付 商家端实 时数据 实时任务规模：500 + CPSBI实时看板实时监控 有赞之前 Flink On Yarn 痛点 Flink On Yarn 模式，CPU 没有隔离，某个实时任务造成 某台机器 CPU 使用过高时， 会对该机器其他实时任务造成 影响 CPU 没有隔离 01 Yarn 和 HDFS 服务使用 物理机，物理机在大促 期间扩缩容不灵活，同 时需要投入一定的人力 和物力 02 大促扩缩容成本高 03 公司底层应用资源统为 K8S，单独再对 Yarn 集群 运维，会再多一类集群的人 力运维成本 需要投入人力运维 弹性扩缩容大促期间能够弹性扩缩容，更好的节省人力和物力成 本 CPU 隔离K8S Pod 之间 CPU 隔离，实时任务不相互影响，更加稳定 存储计算分