YMatrix助力企业实现降本增效.pdf

《YMatrix助力企业实现降本增效.pdf》由会员分享，可在线阅读，更多相关《YMatrix助力企业实现降本增效.pdf（20页珍藏版）》请在三个皮匠报告上搜索。

1、曹明星YMatrix助力企业实现降本增效企业降本增效1YMatrix助力企业降本增效案例2Contents录目YMatrix如何实现企业降本增效301物联网时代，数据呈指数级增长时序数据指数级增长1数据该如何维护数据增长带来的问题设备成本大幅增加人工成本不可忽视数据增长带来的问题企业中业务场景多，数据库种类多分库分表新时代需要新技术栈，以满足新业务、新场景。数字化+物联网，企业需要的是数据基座。YMatrix可以从哪些方面助力企业降本增效设备：更少的设备软件：超融合，一库多用，数据融合、全业务链 一体化分析，简化整 体业务架构人工：入手简单，减轻运维 压力，提升开发效率02存储计算一体化Mxg

2、ate：极致的写入34查询分析查询分析（SQLSQL）52设设备备数据端口数据端口设设备备数据端口数据端口设设备备数据端口数据端口设设备备数据端口数据端口YMatrixYMatrix 服务器主机服务器主机YMatrixYMatrix 服务器主机服务器主机数据数据采集系统采集系统海量数据海量数据入口入口MasterSeg0Seg1mxgate进程.YMatrixYMatrix 服务器主机服务器主机SegMSegNYMatrixYMatrix 内部传输协议内部传输协议批流一体数据加载实时实时高速高速并行写入并行写入微批微批微批微批实时发送实时发送HTTPHTTP POSTPOST请求请求HTTP高

3、并发接口，可以接受上万并发访问。根据每行宽度，微批可以包含几十到几万行实时数据.10万亿级设备1上亿点每秒写入；实时低延迟载入（毫秒秒级）；强一致性，符合事务ACID属性。据。Mars2行列混合存储引擎level建表时指定排序列数据顺序追加写入索引以及merge消除随机IO支持异频乱序插入，数据局部有序块级索引，降低并发控制开销多级合并，兼顾实时性和资源消耗文件粒度适应，避免大文件和小文件合并块级筛选，提供minmax进行筛选批量接口，按投影批量返回数据，提升向量化并行扫描，range粒度并行预聚集，降低计算代价编码链：极致的压缩 Floatint：自研技术，将固定精度浮点数转为int类型数值

4、压缩存储，查询时透明转换 Gorilla：适合浮点数压缩算法 Zigzag：适合变化有规律的数据 LRE：适合Timestamp等有序数据 更多：zstd、lz4、delta-delta等 根据数据类型和数据特性可以智能选择 多种编码和压缩算法可以组合成编码链 压缩可以大幅减少IO量，从而也加速查询编码链mxcustom压缩比可以到13:1极速性能=列存+高效流水线+向量化算子充分利用CPU L2/L3 Cache、SIMD，性能大幅提升批处理和微流水线：提升连续操作时的cache热度全面向量化：算子、表达式、函数、类型转换全链路向量化：scan，filter,projection；sorte

5、r(topk,group,merge),join，agg,subquery；motion(broadcast,redistribution,gather)，window functionbranchless 设计:特化处理(null值，变长数据，溢出检查，复杂函数)完备的fallback机制：全面兼容PG的原生SQL能力存储引擎深度协同：过滤下推，短路数据去重超融合数据库：一库多用线性扩展至数百节点集群，支持10PB+级数据量超融合=OLTP+OLAP+时序+数据湖03某造车新势力：车辆数据采存算用一站式平台接入设备:约20万辆日数据增量：100+亿行有效指标：大于5000列 集群规模：10台

6、 高峰期入库：1010秒内秒内典型查询耗时：小于1秒指标开发周期：1小时内 集群规模：50台 高峰期入库：两小时延迟两小时延迟典型查询耗时：17秒指标开发周期：约三天为车主提供智能化的远程支持服务。包括智能座舱、行为预警、轨迹查询、胎压预警等。某新能源电池厂商：车辆电池大数据业务 集群规模：5台 满足当前客户的数据分析任务 数据库规模：30套主从 对当前的数据分析任务很吃力车企电池数据回传。分析电池工况、对电池健康状态进行分析预警等。某电池生产厂商：生产工艺参数优化测试数据量