3-1 Apache InLong 的 SPI 扩展实践.pdf

1、Apache InLong的 SPI 扩展实践周康 腾讯数据 级开发程师Apache InLong PMC 成员Email:?healchowapache.org|0101Apache?InLong?Apache?InLong?简介简介项简介适场景0303InLongInLong ManagerManager 的的 SPISPI 改造实践改造实践存在的问题什么是 SPISPI?改造实践录 CONTENT|0202InLong?ManagerInLong?Manager 简介简介Manager 的作0101Apache?InLong?Apache?InLong?简介简介项简介适场景|01 Apa

2、che?InLong?简介/是什么官网：https:/inlong.apache.orgApache InLong（应龙）是一个一站式的海量数据集成框架，提供自动、安全、可靠和高性能的数据传输能力，方便业务构建基于流式的数据分析、建模和应用。表单数据日志Apps 数据数据集成PrestoHiveMapReduceHDFSHBaseS3SparkFlinkAd-hoc 查询BI人物画像数据源数据仓库数据应用ES最初于 2019 年 11 月由腾讯大数据团队捐献到 Apache 孵化器，2022 年 6 月正式孵化毕业，成为 Apache 顶级项目（TLP）。|01 Apache?InLong?简

3、介/适场景|依托腾讯百万亿级别的数据接入和处理能力，整合了数据采集、汇聚、缓存、分拣全流程，具有简单易用、稳定可靠、灵活扩展等特性。广泛应用于广告、支付、社交、游戏、运营商、人工智能等领域。|0202InLong?ManagerInLong?Manager 简介简介Manager 的作|02 InLong?Manager 简介|InLong 支持数据的采集、汇聚、缓存和分拣，只需一些基础配置，就可把数据从源端导入到实时计算引擎或者写入离线存储系统。系统如何将这些流程串联起来？|通过 InLong Manager 来管理系统和任务的元数据，串联任务的全流程。元数据主要有：审批信息 集群配置信息

4、数据 schema 配置（源、目标）02 InLong?Manager 简介|通过 InLong Dashboard 提供的 Web UI（或 Manager Client 提供的命令行工具）创建数据流任务，任务审批通过后，即可串联起全部流程，主要包括：|1.创建目标端的库表结构2.创建 MQ 的 Topic 和消费者3.启动 Flink 任务，开始从 MQ 消费数据，写入目标端4.下发采集任务，向 MQ 生产数据0303ManagerManager 的的 SPISPI 改造实践改造实践什么是 SPI改造过程改造后的收益|03 Manager 的 SPI 改造实践/存在的问题|InLong 源

5、于腾讯内网业务，在近10年的发展中，主要支持的数据源和数据存储如下：|数据源端数据目标端03 Manager 的 SPI 改造实践/存在的问题|以数据存储端为例，由于用到的存储类型有限，且考虑到不同的存储类型的参数差异较大，我们的配置表是这样设计的：|03 Manager 的 SPI 改造实践/存在的问题|在 InLong 上云的过程中，数据源端和目标端的类型急剧增多。可以预见，随着云上客户规模的增加，还会继续扩展更多类型的数据源和目标端。|数据源端数据目标端在前面已有类型的基础上，新增的类型03 Manager 的 SPI 改造实践/存在的问题|扩展的过程中发现的痛点：维护成本高：表多，重复

6、字段多 大量相似代码（if-else/switch-case 处理相似逻辑）难扩展：要扩展新的存储类型，不仅要添加一张表，还要修改接口中的代码，添加 else/case 语句（不符合开闭原则）|03 Manager 的 SPI 改造实践/什么是 SPI|SPI，全称 Service Provider Interface，是 Java 提供的一套用来被第三方实现或者扩展的 API，它可以用来启用框架扩展和替换组件。翻译后是“服务提供者接口”，顾名思义，这个接口是给“服务提供者”使用的。|常见示例：加载 数据库驱动 load 接口的实现类SLF4J 加载不同提供商的日志实现类 日志门面接口的实现类