当前位置:首页 > 报告详情

6-(线上)崔星灿 FFA-Xingcan-ZH.pdf

上传人: li 编号:29288 2021-02-07 28页 1.59MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要介绍了Wealthsimple公司使用Oracle CDC(Change Data Capture)与Flink实践的经验。Wealthsimple是一家位于多伦多的金融科技创业公司,提供投资、交易和储蓄账户服务。文章概述了其财务资产跟踪团队(BOR Team)的工作,包括写入Oracle总账事务、从Oracle总账读取事务以及根据提取的事务进行会计处理。 核心数据包括: - 使用Flink和Oracle LogMiner实现CDC。 - Flink作业流程:初始扫描、日志捕获、全局排序和数据加载。 - Oracle CDC连接器:介绍表、日志和数据变化,以及如何使用Flashback Query和LogMiner API捕获变化。 - 排序作业:由于Flashback Query结果的非确定性,需要额外排序作业以确保有序性。 - JDBC连接器:实现精确的一次性处理,使用XATransaction支持两阶段提交。 关键点分条如下: 1. Wealthsimple及其提供的金融产品介绍。 2. BOR团队职责和工作内容。 3. 使用Flink和Oracle CDC的解决方案概述,包括系统涉及和作业流程。 4. Oracle CDC连接器的详细说明,包括表、日志和变化数据的处理。 5. 排序作业的必要性及其实现方式。 6. JDBC连接器的使用,确保处理的精确性和稳定性。 7. 未来工作方向:动态生成视图、过滤无用变化以及引入数据湖存储。 通过这些实践,Wealthsimple能够统一数据管道,并实现对数据库变化的有序流式复制,为后续的数据处理和分析提供支持。
Oracle CDC与Flink如何结合? 如何利用LogMiner API捕捉数据库变化? 未来工作中,Oracle CDC有哪些潜在的应用场景?
客服
商务合作
小程序
服务号
折叠