7-2 TDengine 时序数据库在工业大数据中的创新应用.pdf

1、李广涛思数据联合创始人、商业化总裁TDengine 时序数据库在工业大数据中的应用目录01.涛思数据介绍02.工业物联网大数据处理的挑战03.TDengine 关键技术设计04.TDengine 在工业大数据中的典型应用01涛思数据介绍.涛思数据概况涛思数据成立于2017年，专注时序空间大数据的存储、查询、分析和计算，自主开发了全球领先的高性能、可伸缩、高可靠、零管理的物联网大数据平台TDengine，可广泛运用于物联网、车联网、工业互联网、IT运维等领域。公司使命抱着给行业赋能，让客户成功的使命，涛思数据旨在通过技术创新，为物联网、工业互联网等行业提供全栈、高性能、低成本的时序大数据平台，创

2、造出商业价值和社会价值。涛思团队公司创始人陶建辉在美国留学工作十多年后，回国创业，曾成功创办了“和信”与“快乐妈咪”两家高科技企业。公司研发团队全部毕业于中国科大、中国科学院、清华、上海交大、美国密歇根大学、马里兰大学等知名学府或机构，都拥有硕士或博士学历，在分布式计算、数据存储和数据库上有多年的研发经验。TDengine全球用户情况18,100+Star 数4,300+Fork 数8,700+Issue 数单机版开源2019.07.12集群版开源2020.08.03200+每日新上线节点数02工业物联网大数据的挑战.行业现状及痛点分析01“哑设备”无法实时获取设备数据02设备点检、保养成本高

3、、效率低03设备使用情况不透明维修经验无法形成闭环04设备能耗高、利用率低难以做到精细化管理05设备相对独立难以形成协同效应06难以预测潜在设备故障一旦发生故障停机带来巨大损失大部分产线系统都是独立运行，来自各个系统的数据不能有效利用和深度融合进行预警、数据分析，从而及时快速做出决策工业物联网时序大数据假设一台设备每秒钟上报一条数据，每条数据中包含10个参数，则一天产生864000个数据点，一年产生3.15亿个数据点。假设一个工作区部署1000个设备，每年就产生3154亿个数据点，约 3.4TB 数据。100个工作区则需要处理 344TB 数据。存储5年则为 1721TB 历史数据。+时序采集

4、数据传输数据存储数据应用物联网四层模型高效读写压缩存储时序分析冷热分离易于扩展安全可靠如何对物联网产生的海量数据进行高效的存储、查询、分析？工业物联网时序大数据 数据特点鲜明产生的数据带有时间戳大部分数据都按照时间顺序递增到达，但有不确定比例的乱序数据12345多是包含数值（测量值）的结构化数据数据模型相对固定，不升级固件基本不会发生变动数据流量巨大且平稳可预测，可较精确估算数据流规模基本不存在数据产生速率的抖动一个时间序列的数据源唯一确定不同数据源产生数据的速率无直接无关联或协同效应数据价值随着时间流逝而递减数据的价值随时间增加规整的递减，并最终被清理掉数据很少有更新或删除绝大部分数据产生以

5、后即为最终状态，不再变动6随着 5G/IoT 技术的发展，在工业物联网领域产生的采集数据爆炸式增长。这些数据来自运行中的对设备、人员、车辆等的监控，例如：设备采集数据监测和存储设备运行状态监测和存储人员定位安全监测运输设备GPS位置监测安装其中的传感器以持续稳定频率产生并向云端发送大量的测量类数据。工业物联网时序大数据 数据使用专业化更强数据以写操作优先，写入性能要求高，不需要事务支持系统能够持续稳定、可靠地写入数据，确保不会因为其他操作导致写入失败查询要匹配特定的时间线或数据标签实时状态查询、数据降精度、整体趋势分析较多，普通DB 无法提供这种函数查询请求基本上是程序驱动，Ad hoc 查询

6、较少有较为严格的QPS 的要求查询多采用标签形式进行数据过滤查询过程中通常使用时间线标签过滤，较少的情况下有跨时间线联合查询12345对于存储资源较为敏感由于产生的数据规模庞大，系统对于存储资源的要求高查询类型特殊，不同于RDS 提供的查询功能包含大量的特殊查询：聚合、断面、插值、topK，多种形式的时间窗口，最近状态查询、数据降维、整体趋势分析较多6工业时序大数据存储方案的行业痛点计算实时性差，查询慢计算内存、CPU开销巨大无时序针对性优化组件多而杂，架构臃肿支持分布式但单节点效率低硬件、人力维护成本非常高架构陈旧无分布式方案，无法水平扩展依赖windows等环境无法云化部署海量时序数据读写