MatrixDB-流批一体化数据高速加载工具介绍（20页）.pdf

1、 MatrixDB流批一体化数据高速加载工具介绍石敦斌北京四维纵横数据技术有限公司MatrixGate MatrixGate功能介绍 MatrixGate架构原理及对比 MatrixGate支持的模式 MatrixGate性能Mxgate功能简介MatrixGate是一款高性能分布式流批一体化数据加载工具，具有高度集成、跨平台、支持多种数据源数据高速加载及MPP集群间大容量数据高速迁移的特点。l 多种数据源支持TEXT、CSV、JSON、Kafka数据格式l 跨平台支持HTTP RESTful API支持多语言接口l 流式加载支持自动消费Kafka数据支持图形化配置及命令自动化两种方式l 跨M

2、PP集群高速迁移 支持Greenplum和MatrixDB集群间的数据迁移 支持MatrixDB和MatrixDB集群间的数据迁移MatrixDB实时采集、实时分析的一站式数据平台MatrixGate MatrixGate功能介绍 MatrixGate架构原理及对比 MatrixGate支持的模式 MatrixGate性能GPFDIST加载架构图Mxgate总体架构介绍数据加载原理对比MatrixGate MatrixGate功能介绍 MatrixGate架构原理及对比 MatrixGate支持的模式 MatrixGate性能MatrixGate的四大模式MatrixGate 离线加载模式CS

3、VTEXTJSONMxgateMatrixDB-高性能-分布式-微批提交-事务一致性-多核并行-分批上报-支持Merge插入更新-容错机制-阈值控制（当错误数据行数超过5*gp_initial_bad_row_limit时，批量写入失败）MatrixGate http API服务模式Mxgate Http APIJAVAPythonC#GOETCMatrixDB-跨平台-高性能-分布式-事务一致性-分批上传、自动合并-支持服务状态查看-支持多种时间戳转换格式-支持排除指定列-多表数据并发上报-开放服务状态API-支持多语言编程调用MatrixGate 自动消费kafka模式kafkaMxgat

4、e/MXUIkafkakafkakafkaMatrixDB-图形化自动消费-命令自动消费-实时同步加载-指标动态增减-微批提交-持续聚集-物联网协议支持CDCAPIMQTTMatrixGate 跨集群迁移模式mxgate httpMasterMatrixDBMatrixDBMatrixDBMatrixDBMasterGreenplumGreenplumGreenplumGreenplum-从Master获取元数据-高速压缩导出CSV-点对点迁移-压缩传输-多核并行-指定条件迁移-增量迁移-支持GP4 GP5MatrixGate MatrixGate功能介绍 MatrixGate架构原理及对比

5、MatrixGate支持的模式 MatrixGate性能MatrixGate性能采用tsbs工具生成三种规模不同列的数据MatrixGate小规模加载速度对比值越大代表写入性能越好2.011.691.511.3511.611.111.4810.5310万20万50万100万1列1列1列1列MatrixDB与竞品加载速度对比MatrixDB/友商MatrixDB/InfluxDBMatrixDB3,476,4053,258,2043,187,9402,779,127友商1,725,4321,922,9322,106,7952,064,622InfluxDB299,672293,654277,66

6、9263,97410万1列20万1列50万1列100万1列0500,0001,000,0001,500,0002,000,0002,500,0003,000,0003,500,0004,000,0001列数据 不同设备量数据加载速度MatrixGate中等规模加载速度对比值越大代表写入性能越好MatrixDB2,802,3541,518,545753,012167,508友商502,356160,21963,4385,854InfluxDB169,26336,44511,05