1、TSDB-云边一体化时序时空数据库技术揭秘 自修 阿里云智能数据库产品事业部高级专家 Contents01目录认识TSDB 02技术揭秘 03开源生态 认识TSDB01平板文件的简单存储 数据模型比较单一 1st 时序时空数据处理工具 19992010201120162017 Docker/微服务 交通/轨迹 Future 云时序数据库 发展历史 2nd 面向时序时空领域的数据库 面向监控报警领域 Cloud Native/Serverless IoT/工业IoT 时序时空模型特征存储 数据模型,压缩,聚合分析方面做了大量创新 具备空间和时间的多维索引 高性能低成本免运维 生态丰富 云边一体化
2、架构 应用场景 时空大数据计算 智慧交通,城市大脑,轨迹分析,路径规划高性能计算工业数字化转型 轻量化高可用电力,交通,物流,IOT,工业基础设施智能化 APM,智能运维,监控诊断,金融低成本高性能可扩展数据模型 Time Series 序列值 Dynamic Fixed Single SnapshotUpdated Snapshot 瞬时值 T YX移动点 TYX轨迹序列 TXY事件 指标 T V TV YX地理参考变量 TVTVYX地理参考时序 Spatial Location 阿里云TSDB 极致性价比 指标/事件型数据存储系统 4000万写数据点/秒,600万读数据点/秒,15:1压缩
3、比(2018双十一)PB级存储,无缝扩缩容,时空检索比Geomesa快7倍 IoT场景深度定制,云边一体化 多值数据模型(插值、聚合、采样,降精度)存储计算分离,冷热分离,列存,无损压缩(25+算法)丰富API,满足LBS、轨迹、点云、电子围栏等各种场景 智慧交通、城市大脑、监控、电力、能源行业 广泛应用 高兼容性和高扩展性 兼容OpenTSDB协议,兼容Prometheus存储,支持SQL/MM,支持OGC标准 ANSI SQL兼容,动态Schema,内置时序时空高级分析函数 Time Series and Spatial-Temporal Database 技术揭秘02MQTTSQLGIS
4、OpenTSDBGeoMQTTMQMQTTSQLProtocolsSQL EngineTransportIndexStorageCompressionFSParserAnalyzerPlanCodegenAggregateJoinSpatialJoinDistributed ExecutorCoordinatorMergeCollectSQL BypassRead/WriteAccessDeleteQueryTimeseries FilterSpatial FilterBKD IndexInverted IndexTimeseries IndexS2/S3 IndexRowStoreBlob
5、StoreColumn StoreDelta-of-DeltaRoaring BitmapZigZagHiMOXORLocal File SystemShared File SystemHDFSOSSGeoMQTTSparkFlinkKafkaMQ技术架构 生态 分布式 PG Protocol RESTFul API SQL EngineDistributed Execution EngineCluster CoordinatorData ExchangeData ExchangeTransport R3P1 R2Local DiskPG Protocol RESTFul API SQL En
6、gineDistributed Execution EngineCluster CoordinatorTransport R1P2 R3Local DiskPG Protocol RESTFul API SQL EngineDistributed Execution EngineCluster CoordinatorTransport R1P3 R2Local DiskSLB计算层?存储层?SQL引擎 Table Schema?Hash/NLP/Merge/Spatial Join?Distributed Executor?Distributed Executor?Columnar in-me