2019年专为物联网而生的大数据平台TDengine 的设计.pdf

《2019年专为物联网而生的大数据平台TDengine 的设计.pdf》由会员分享，可在线阅读，更多相关《2019年专为物联网而生的大数据平台TDengine 的设计.pdf（37页珍藏版）》请在三个皮匠报告上搜索。

1、TDengine专为物联网而生的大数据平台物联网产业链芯片模组、终端数据采集网络、IoT平台边缘计算数据引擎（存储查询计算）分析应用系统+IoT设备数量增长Gartner预计，2021年全球IoT设备数量将达250亿，届时，物联网生成的总数据量将达到每年600ZBIoT物联网市场增长2020年全球物联网市场规模将达到1.7万亿美元,2023年，全球数据库市场规模可超过500亿美元通用大数据方案的挑战：低效、复杂、高成本通常将开源的 Kafka,Redis,Hbase,MongoDB,Cassandra,ES,Hadoop,Spark，Zookeeper 等大数据软件拼装起来，利用集群来处理海量

2、数据。因牵涉到多种系统，每种系统有自己的开发语言和工具，开发精力花在了系统联调上，而且数据的一致性难以保证。开发效率低非结构化数据技术来处理结构化数据，整体性能不够，系统资源消耗大。因为多套系统，数据需要在各系统之间传输，造成额外的运行代价。运维效率差每个系统都有自己的运维后台，带来更高的运维代价，出问题后难以跟踪解决，系统的不稳定性大幅上升。运维复杂集成复杂，得不到专业服务，项目实施周期长，导致人力攀升，利润缩水。应用推向市场慢物联网大数据的特点所有采集的数据都是时序的1数据都是结构化的2一个采集点的数据源是唯一的3数据很少有更新或删除操作4数据一般是按到期日期来删除的5数据以写操作为主，读

3、操作为辅6数据流量平稳，可以较为准确的计算7数据都有统计、聚合等实时计算操作8数据一定是指定时间段和指定区域查找的9数据量巨大，一天的数据量就超过100亿条10TDengine 应运而生TDengine 提供的功能自带消息队列，无需 Kafka 或其他 MQ消息队列所有设备最新记录实时返回缓存实时数据库，历史数据库，操作合一透明数据库对一个或多个数据流实时聚合计算流式计算最新的数据可实时推送到应用数据订阅物联网数据的全栈解决方案TDengine 的整体架构集群管理、资源调度、系统监测TDengine各类数据源数据采集实时数据历史数据分析引擎流式计算SQL 引擎元数据各类应用TDengine 技

4、术生态图Shell:CommandLine InterfaceVisualization ToolGrafanaTime-series Data Processing EngineTDengineTDengineAnalytics,ML ApplicationsPython/Matlab/RJava/C/C+/RestfulIoT ApplicationTelegrafKafkaOPCData HubMQTTServerWeb BasedManagement ToolClusteredTDengine 的产品竞争力u定义了创新的时序数据存储结构，通过采用无锁设计和多核技术，TDengine 让

5、数据插入和读出的速度比现有通用数据库高了10 倍10 倍以上。u单核一秒就可处理 2 万以上插入请求，插入数百万数据点，可从硬盘读出一千万以上数据点。u数据都有预聚合处理，多表聚合查询保证只扫描一次数据文件，查询速度数量级的提升。8 核服务器，100 亿条记录的平均值计算不到 2 秒。完整对比测试报告，请参阅：10 倍以上的性能提升TDengine 的产品竞争力完整对比测试报告，请参阅：u由于超强性能，计算资源不到通用大数据方案的 1/5；通过列式存储和先进的压缩算法，存储空间不到通用数据库的 1/10。u不用再集成 Kafka,Redis,Spark,Hbase 等系列软件，系统架构大幅简化

6、，产品研发成本大幅下降。u零管理，不用分库分表、不分历史库、实时库，数据实时备份，运维成本大幅下降。总拥有成本大幅下降TDengine 的产品竞争力零学习成本u安装包仅仅1.5 MB1.5 MB，不依赖任何其他软件。从下载、安装到成功运行几秒搞定u使用标准的SQL 语法SQL 语法，并支持 C/C+,JAVA,GO,Python,RESTful 接口，应用 API 与 MySQL 高度相似，让学习成本几乎为零u无论是十年前还是一秒钟前的数据，指定时间范围即可查询。数据可在时间轴或多个设备上进行聚合。临时查询可通过Shell/Python/R/Matlab 随时进行u与第三方工具 Telegra