2-TDSQL PG在复杂查询场景中的挑战与实践-opensource.pdf

1、TDSQL PG在复杂查询场景下的挑战与实践腾讯云张树杰 腾讯PostgreSQL技术内幕作者中国人民大学信息学院企业导师目录1.腾讯云TDSQL PG产品能力介绍2.复杂查询场景中带来的性能挑战3.复杂查询场景下的解决之道TDSQL PG融合版内核正式对外发布，实现行存和列存的融合、TP和AP的融合、兼容性的三大融合TDSQL PG融合版实现三大能力的融合1+1 2,不仅仅是融合，更是大幅增强和优化升级TDSQL PG产品核心产品能力在面对复杂客户场景的支撑能力全面兼容卓越性能行列混存HTAP数据安全PG/Oracle双模式新框架性能提升行存、列存一体化TP、AP业务隔离数据库安全最高背书O

2、racle/PG双模式Oracle兼容性再度提升，全量70%-85%;PL/SQL高达90%；金融行业兼容度平均达98%OLTP部分场景提升25倍，TPCC性能提升50%全并行架构，通用计算性能提升5倍TPC-H：提升10倍TPC-DS性能：突破，领先同一引擎行列混存同引擎自适应TP/AP分流资源隔离：支持逻辑多租户，根据CPU/内存/并发度隔离业务资源熔断：CPU/内存/耗时/倾斜等超过阈值主动停止查询安全数据库（四级）网络安全专用产品资质目录1.腾讯云TDSQL-PG产品能力介绍2.复杂查询场景中带来的性能挑战3.复杂查询场景下的解决之道TPAPHTAPTP是做交易型的业务，它的数据量通常

3、来说比较小，在GBTB的范围内，它要求低时延、高吞吐，同时对高可用、故障恢复要求较高AP一般用于对历史数据做分析，根据数据分析的结论为企业的商业决策提供一些支撑，因此AP对时延和吞吐的要求没有那么高，主要面对数据量大、查询偏复杂的场景。随着CPU算力、内存容量、磁盘IO效率发生变化，一些老的软件体系结构随着新硬件、新算法的发展都在发生改变。在2010年左右，业内开始考虑把TP和AP同时融合到同一个数据库里，通过这种方式提升数据库处理数据的能力。实时 分析数据库面临的应用业务变化特征数据量从早期的GB级别向TB甚至PB发展；SQL的逻辑从2-3个表+索引向多表（10+）发展；用户对时延的要求从秒

4、级向毫秒发展；数据量和复杂查询带来的挑战数据库面临的基础设施的变化特征新硬件不断涌现，提升了用户的预期；云的快速发展，使数据库面临的基础设施发生了巨大变化；算力的快速发展催化了AI发展，AIinDB和DBinAI技术快速涌现；复杂查询场景中带来的性能挑战带来这些挑战的原因：Oracle开发习惯，把复杂留给数据库SQL本身逻辑复杂度高（大量多表关联、大量子查询展开、临时表和视图使用）优化器能力和Oracle之间差距SQL基于Oracle优化器长时间适配和优化，但这些优化和TDSQL数据库不适配超多表关联：大量超过20张表的关联，执行计划复杂大量子查询展开：子查询、子查询函数，子查询展开条件推进去

5、、最后做子查询数据特征变化：数据特征变化，导致索引选择不对、关联顺序选择不对、关联条件选择不对统计信息不准：统计信息变化，统计不准确，导致关联方式不优数据量大、数据变化频繁、查询SQL复杂：复杂SQL场景下物理优化面临的挑战索引选择错误（9个）Join的方法选择错误（10个）统计信息不够准确（2个）代价模型有偏差（7个）并行执行限制较多（5）执行计划跳变性能劣化（1个）子查询优化（7个）1.n表Join顺序问题是NP问题：C6=30240，C8=17297280，C101010 ，搜索规模迅速膨胀；叠加索引数量、谓词的等价推、查询重写等，搜索空间膨胀更快；C=2 1 (1)1!=2 2!1!2

6、.统计信息偏差引发执行计划波动=(1 )(1)n为样本数量，N为整体样本数量，采样率越低，偏差越大3.均匀性、独立性假设导致基数估计偏差示例中，基于独立性假设，认为性别、爱好、身高是独立属性，而实际上属性间有很高的相关性 NP问题只能获得局部最优解；抽样误差不可避免；统计信息的时效性问题不可避免；均匀性、独立性假设没有可落地的解决方案；某项目优化器核心问题复杂SQL场景下物理优化面临的挑战静态统计信息Column：NDV、直方图、MCV、NullFracMulti-column:DF、BayesOthers：Btr