PostgreSQL 物联网六脉神剑（28页）.pdf

1、PostgreSQL物联网六脉神剑 阿里云-飞天八部-数据库技术组 digoal 高级技术专家2016 PostgreSQL 中国用户大会注册码OAMup61议题 物联网应用场景特性分析 PostgreSQL 物联网六脉神剑 ApsaraDB for RDS(PG)介绍身边的物联网物联网体系结构数据产生采集数据传输数据处理存储物联网应用特性分析数据有时序、时间空间、等属性数据有时序、时间空间、等属性 时序、地理位置、数据处理能力时序、地理位置、数据处理能力某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据 自定义能力、扩展能力、

2、非结构化数据处理能力自定义能力、扩展能力、非结构化数据处理能力数据处理实时性高数据处理实时性高 流式处理能力流式处理能力数据维度多，相关性复杂数据维度多，相关性复杂 复杂查询、统计分析能力复杂查询、统计分析能力有文本模糊、相似度查询需求有文本模糊、相似度查询需求 数据归类、索引功力数据归类、索引功力终端多、数据产生量大终端多、数据产生量大 数据压缩、高并发导入、处理能力数据压缩、高并发导入、处理能力BRIN索引-时序数据高效查询时序数据高效查询btree(全记录索引)value1,ctidvalue2,ctid.bigfullbrin(块粒度索引)blockid_left,blockid_ri

3、ght,value_min,value_max,allnull?,hasnull?.smalllossyB-tree大而全BRIN小而美1932111220200040006000800010000120001000万数据创建索引(ms)brinbtree215254070100020003000400050006000插入1000万数据(ms)brinbtree163168160162164166168170范围查询(ms)超过单个BLOCKbrinbtree1214050100150200250索引大小(MB)brinbtree350.9010203040精确查询(ms)brinbtree

4、btree记录值和每行行号BRIN记录每(连续)块元数据PostGIS-全球使用范围最广的GIS系统(覆盖民用、军用、科研)地图、导航、O2O应用、国际空间站、欧洲宇航局基于地理位置的调度，车辆运动轨迹管理、最短驾驶路径计算公车行驶轨迹监控，在电子围栏外时告警距离搜索，范围检索数据类型点 二维、三维（经纬度、海拔）、多维、地址类型线 闭合线段、开放线段、多点线段面 圆、椭圆、矩形、长方形、正方形、规则多边形、不规则多边形、曲面raster GIS图数据,jpegs,tiffs,pngs,digital elevation models测绘、航天、天文应用拓扑操作符点面判断、距离、面积、体积、叠

5、加、相减、长度、弧度、夹角、pixel相关运算、raster相关运算索引距离运算、距离排序、包含判断、相交判断函数区域内线段长度（城市道路长度）、路径成本(坡度、长度、权重)计算、最佳路径计算、区域面积（城市面积）GIS业务-最佳路径计算支持线段双向权重设定支持线段双向权重设定上坡：上坡：+weight下坡：下坡：-weight3D数据处理(raster,pgpointcloud)位置、位置、RGB、密度、材质、。位点多元属性、密度、材质、。位点多元属性性能指标KNN近邻查询16 Core,100亿数据,64并发,KNN查询平均响应时间0.848毫秒,qps 74151.物联网应用特性分析数据

6、有时序、时间空间、等属性数据有时序、时间空间、等属性 时序、地理位置、数据处理能力时序、地理位置、数据处理能力某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据 自定义能力、扩展能力、非结构化数据处理能力自定义能力、扩展能力、非结构化数据处理能力数据处理实时性高数据处理实时性高 流式处理能力流式处理能力数据维度多，相关性复杂数据维度多，相关性复杂 复杂查询、统计分析能力复杂查询、统计分析能力有文本模糊、相似度查询需求有文本模糊、相似度查询需求 数据归类、索引功力数据归类、索引功力终端多、数据产生量大终端多、数据产生量大 数据压缩