3.金融大数据存储实践-沈百军.pdf

1、金融大数据存储实践金融大数据存储实践2023.04/沈百军 目录大数据发展趋势大数据发展趋势存储设计和选型存储设计和选型5 5个实用案例个实用案例4 4安全与隐私更受关注分析领域快速发展 大数据趋势特点应用服务爆发数据分析将成为主流与云计算密不可分中国占据重要市场应用服务爆发爆发大数据发展趋势 数据的重要性大数据VS应用服务大数据与大数据与应用服务应用服务对比对比5 5大数据的特点大数据的特点海量的数据快速的数据流转多样的数据类型潜在价值高应用服务大数据数据量小，Request/Response数据量大，用户行为复杂单任务，单任务，资源消耗小批流一体批流一体，资源消耗大商业价值：场景丰富，逻辑

2、复杂处理对象：结构化，半结构化，非结构化系统工具：开源组件胜多处理方式：批流一体，解决吞吐问题大数据商业价值：场景单一，逻辑简单处理对象：结构化，半结构化系统工具：模式简单，相对比较少处理方式：事务处理，解决并发问题应用服务磁盘、内存、CPU高并发的JAVA应用服务架构核心是存储架构的精髓是存储的设计读本地缓存CDNJavaJVM缓存Redis缓存持久化缓存可省略必须MQJava写Redis缓存持久化缓存6 6 目录大数据发展趋势大数据发展趋势存储设计和选型存储设计和选型5 5个实用案例个实用案例存储设计的原理CAPACIDBASECAPCAP定理（定理（CAP theoremCAP theo

3、rem）一致性(Consistency)(所有节点在同一时间具有相同的数据)可用性(Availability)(保证每个请求不管成功或者失败都有响应)分隔容忍(Partition tolerance)(系统中任意信息的丢失或失败不会影响系统的继续运作)Basically Available-基本可用 Soft-state-软状态/柔性事务。Soft state 可以理解为无连接的,而 Hard state 是面向连接的 Eventual Consistency-最终一致性，也是 ACID 的最终目的。三个需求，最多只能同时较好的满足两个 CA-单点集群，满足一致性，可用性的系统，通常在可扩展性

4、上不太强大。CP-满足一致性，分区容忍性的系统，通常性能不是特别高。AP-满足可用性，分区容忍性的系统，通常可能对一致性要求低一些。原子性（atomicity)一致性（consistency)ACIDACID模型弱化模型弱化BASEBASE模型盛起模型盛起 隔离性（isolation）持久性（durability）8 8存储的选型RedisAerospike内存内存NoSqlNoSqlCassandraHBase大存储大存储KVKVMySqlGraphDB关系型存储关系型存储检索和聚合型存储检索和聚合型存储MongoDBElasticsearch9 9CephSwift对象存储对象存储Pres

5、to（HDFS)Kylin大数据大数据ClickHouseHive/Spark（批处理）存储的选型starRocks1010JanusGraphUltipa/Galaxybase/AtlasGraph图数据库图数据库Milvus向量引擎向量引擎AI算法存储的选型Neo4j1111单点PCPC架构架构PCPC存储架构存储架构什么是傲腾什么是傲腾持久性内存持久性内存？DRAM/3D Point/Flash傲腾内存，是Intel基于3DXpoint存储介质而打造的缓存设备，其主要作用是为硬盘（HDD，SSD）加速。英特尔 傲腾 持久内存和英特尔 傲腾 固态盘之间有什么区别 英特尔 傲腾 持久内存和标

6、准 DRAM 什么是无限带宽技术什么是无限带宽技术？InfiniBand（“无限带宽”）是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟，用于计算机与计算机之间的数据互连。单点集群，满足一致性，可用性的系统，通常在可扩展性上不太强大主要用于一些复杂的，高并发，高可用，而且数据量比较大的线上实时服务，一般一致性差搭建多层存储类型，可用提供高并发，高可用的，高性能的计算机网络线上服务，保证满足银行业务发展的需求的同时，更好的引领业务发展。分布式内存傲腾持久内存PMemSSD/HDDInfiniband存储服务的硬件架构1212ReadRead（索引）（索引）WriteWri