TDSQL全新HTAP架构解读.pdf

1、唐阳主讲人：在业务发展初期，数据量较少，仅通过单机数据库即可承载业务的需求。当业务发展到一定阶段，有着高并发的业务请求。数以百万计的用户数据，则需要通过分布式数据库支撑横向扩容以及大规模业务的需求。在业务成熟后，又扩展了大量的数据分析与复杂业务查询的需求，自然就需要一个既能满足“高并发交易型数据处理”有支持“实时数据统计分析”的数据库。松耦合确保隔离性通过将行存节点与列存节点隔离分散部署的方案，彻底确保不互相影响。并且可以满足在线交易与实时分析的极致性能。隔离列式存储MPP通过扩展列式存储、向量化分析引擎、分布式MPP计算等技术加速用户复杂SQL执行。性能可插拔式能力可插拔式分析引擎与可选择式

2、对象加速能力。可有效降低数据库成本。通过智能路由SQL，让开发从SQL调优中解放出来，降低使用难度，易用数据实时同步通过底层数据实时同步机制，可支持数据实时从行存引擎更新到列存引擎中。同时在列存引擎中加入了提升数据更新效率的优化措施，进一步确保数据一致性。实时MPP架构列式数据存储向量化执行引擎隔离部署，可保证在线TP与AP互不影响75walrecoverDiskDelta2BaseDataMemoryRowSetDiskRowSetDiskDelta1MemDeltaindex pageredoredoredobuffer pageUndoUndoUndodatafiledatafileda

3、tafileTDSQL通过主从复制的机制，为每个分片扩展了列存从库。列存节点通过同步行存日志在内存中应用，并转换为列式存储，以快速更新。基于异步模式实现，避免事务等待。log bufferundo pageDiskMemoryMemoryDiskflushPkPkPkVVV列式存储基于LSMTree的原理实现。默认采用LZ4的数据压缩方案，以满足高速数据读取和解压缩性能。108.7333792125.320488362.57125020406080100120140CSV文件行存列存TPCH SF 100 数据容量（GB）可指定加速对象可根据需要指定对象加速可插拔式分析引擎可选择指定实例提供分

4、析加速能力支持列级过滤仅同步关键列，过滤无用列，降低存储成本ALTER TABLE table2 SECONDARY_ENGINE=libra;ALTER TABLE table5 MODIFY descriptionBLOB NOT SECONDARY;table1table2table3table4table5table6table7table8table2table4table5table7支持基于规则的强制分发又支持代价的智能选择同时也可提供独立访问地址对业务完全透明，可基于现有集群升级vipvip国产硬件服务器+国产操作系统+国产数据库全国产适配CPU：鲲鹏*海光*飞腾操作系统：银河

5、麒麟*统信*中标麒麟数据库：腾讯云分布式数据库TDSQL非主键检索多表join嵌套子查询分组计算模糊搜索大数据排序业务场景列存引擎行存引擎业务中无法区分TP与AP查询，共同运行在一套数据库中。适用于ERP、风控、SaaS类业务场景。需要定时对数据库中数据进行批量处理、如跑批更新、复杂分析、类型检索等。适用于金融跑批、会计日切、报表统计、业务风控等。对于业务活动提供经营决策、数据分析等功能，既要实时查看报表数据，又要支撑高并发的在线交易处理。适用于广告推荐、业务看板、Boss平台等。业务数据规模庞大，又需要不定时数据回溯查询，且需要降低存储成本的。可通过压缩列存的机制减少存储空间占用，归档旧数据。