陶建辉-TDengine的创新与最佳应用场景（46页）.pdf

1、 全球敏捷运维峰会 广州站TDengine 的创新与最佳应用场景陶建辉 涛思数据创始人 全球敏捷运维峰会 广州站大数据时代数据采集后被源源不断的发往云端 全球敏捷运维峰会 广州站通用大数据方案的挑战：低效、复杂、高成本通常将开源的 Kafka,Redis,HBase,MongoDB,Cassandra,ES,Hadoop,Spark，Zookeeper 等大数据软件拼装起来，利用集群来处理海量数据。因牵涉到多种系统，每种系统有自己的开发语言和工具，开发精力花在了系统联调上，而且数据的一致性难以保证。开发效率低非结构化数据技术来处理结构化数据，整体性能不够，系统资源消耗大。因为多套系统，数据需要

2、在各系统之间传输，造成额外的运行代价。运行效率差每个系统都有自己的运维后台，带来更高的运维代价，出问题后难以跟踪解决，系统的不稳定性大幅上升。运维复杂集成复杂，得不到专业服务，项目实施周期长，导致人力攀升，利润缩水。应用推向市场慢 全球敏捷运维峰会 广州站12346789510数据都是结构化的所有采集的数据都是时序的一个采集点的数据源是唯一的的数据很少有更新或删除操作数据一般是按到期日期来删除的数据以写操作为主，读操作为辅数据流量平稳，可以较为准确的计算数据都有统计、聚合等实时计算操作数据一定是指定时间段和指定区域查找的数据量巨大，一天的数据量就超过100亿条物联网、IT运维监测数据特征：时序

3、空间数据 全球敏捷运维峰会 广州站TDengine 应运而生 全球敏捷运维峰会 广州站TDengine:All in One的时序大数据平台消 息 队 列自带消息队列，无需 Kafka 或其他 MQ缓 存所有设备最新记录实时返回数 据 库实时数据库，历史数据库操作合一透明流 式 计 算对一个或多个数据流实时聚合计算数 据 订 阅最新的数据可实时推送到应用为时序数据处理提供全栈解决方案，无需再集成Kafka,Redis,Spark,HBase,Zookeeper等软件，大幅降低系统架构的复杂度，而且极大提高数据处理的性能TDengine提供的功能 全球敏捷运维峰会 广州站TDengine的产品竞

4、争力定义了创新的时序数据存储结构，通过采用无锁设计和多核技术，TDengine 让数据插入和读出的速度比现有通用数据库高了1010倍倍以上。完整对比测试报告，请参阅：十倍以上的性能提升总拥有成本大幅下降由于超强性能，计算资源不到通用大数据方案的1/5；通过列式存储和先进的压缩算法，存储空间不到通用数据库的1/10。不用再集成Kafka,Redis,Spark,HBase等系列软件，系统架构大幅简化，产品研发成本大幅下降。全球敏捷运维峰会 广州站TDengine 技术创新之处 全球敏捷运维峰会 广州站TDengine ClusterV5V3V4V8dnode1 M1V7V6V2dnode 4V5

5、V7M0V4dnode 2V5V6V3V8dnode 5V2V7V6V8dnode 0dnode 3V3V2V4M2TAOSCAPPTAOSCAPP无单点故障多副本实时同步自动负载均衡无中心化水平扩展TDengine 系统结构 全球敏捷运维峰会 广州站TDengine 的创新之一数据模型：一个数据采集点一张表 全球敏捷运维峰会 广州站数据是时序的，都带有时间戳数据是结构化的，而且以数字型为主除非固件更新，结构不会改变每个采集点都带有静态属性标签由于网络或其他原因，每个采集点的数据到达服务器的时间是无法控制的，但每个采集点的采集数据到达服务器的相对顺序是基本有保证的设备 ID时间戳采集数据标签D

6、evice IDTime StampCurrentVoltagePhaseLocation Typed100115385486850003.132200.31BJ.chaoyang1d100215385486851008.212190.82BJ.haidian2d100115385486860003.112190.35BJ.chaoyang1d100315385486830005.411100.53BJ.daxing1d100215385486861008.112230.81BJ.haidian2d100215385486871308.152150.85BJ.haidian2d10011538