5-孙晓光-知乎 Flink 数据集成平台建设实践-LYS.pdf

1、知乎 Flink 数据集成平台建设实践 孙晓光 知乎 业务场景 #1 历史设计 #2 转向 Flink #3 Flink 即未来 #4 业务场景#1 业务场景 业务挑战 数据源多样化 高吞吐 实时性 准确性 技术 流程复杂 可复用性 可管理性 流程 设计目标 数据源 MySQL / TiDB Redis HBase / Zetta Kafka / Pulsar Hive HDFS / Object Storage 高吞吐 实时 准确可靠 技术 流程简化 整合元数据 整合调度系统 效率提升 平台化 可管理 血缘关系 流程审批 监控 / 报警 流程 历史设计#2 系统结构 技术选型 Pros: M

2、apReduce Scale Hive 兼容性 Cons: 数据源支持 无限速 Sqoop Pros: 数据源支持丰富 内置限速 易扩展 Cons: 无资源管理 无 Hive Catalog 原生支持 DataX 系统状态 4K 总任务 每日 6K 实例 每日 124TB 每日 8.2B 行 规模 流程简化 规范管理 安全审查 弹性规模扩展 收益 高调度时延 数据倾斜 社区不活跃 可扩展性弱 可管理性弱 问题 转向 Flink#3 技术选型 社区不活跃 可扩展性弱 可管理性弱 Sqoop 功能强大 整合门槛高 资源池建设维护成本 Apache NIFI 社区活跃 数据源支持丰富 SQL 支持快

3、速进步 可扩展性强 API 强大易用 Connector 易于开发 统一技术栈 Flink 系统结构 可维护性 sqoop import -Dmapreduce.map.cpu.vcores=4 -Dmapreduce.map.memory.mb=8192 - Dmapreduce.map.java.opts=-Xmx6552m -Dmapreduce.map.speculative=false - Dmapreduce.am.max-attempts=1 -Dmapreduce.job.queuename=xxx - Dmapreduce.application.classpath=/usr/lib/hive/conf/*,/usr/lib/hive/lib/*,/usr/lib/sqoo p/*,/usr/lib/sqoop/lib/*,/usr/lib/hadoop/*,/usr/l