霍琳贺-2023RustChinaConf大会.pptx

1、第三届中国第三届中国Rust开发者大会开发者大会基于基于 Rust Arrow Flight 的物联网和时序数据传输及转的物联网和时序数据传输及转换工具换工具霍琳贺涛思数据Rust China Conf 2023CONTENTSCONTENTS自 我 介 绍自 我 介 绍T D e n g i n eT D e n g i n et a o s Xt a o s XR u s t R u s t 使 用使 用TDengineTDengineRustRustOOXML-Excel 解析库xlsx2csv-Excel 转 CSV 工具Unqlite-单文件非关系型数据库Wisecondor-生物信

2、息 CNV 分析mdsn-A Multi-address DSN(Data Source Name)parser.TDengine应用开发组Python/Rust/Go 连接器数据可视化数据库运维工具第三方数据源接入BI 系统接入https:/ 我 介 绍自 我 介 绍T D e n g i n eT D e n g i n et a o s Xt a o s XR u s t R u s t 使 用使 用TDengine:时序数据库TDengine 是一款开源、云原生的时序数据库（Time Series Database），专为物联网、工业互联网、金融、IT 运维监控等场景设计并优化，具有极

3、强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。采用关系型数据库模型需要建库、建表，为提升写入和查询效率，要求一个数据采集点一张表为实现多表聚合，引入超级表概念子表通过超级表创建，带有标签，通过标签实现多表高效聚合 高效写入支持标准 SQL 写入，支持批量写入支持 Schemaless 写入支持从 Kafaka,MQTT,OPC,PI System 以及文件直接导入数据源导入时，可定义规则引擎TDengine:与上下游应用的关系TDengine=Time-Series Database+Cac

4、hing+Data Subscription+Stream ProcessingShell:Command Line InterfaceHigh Performance,Cloud NativeSimplified Solution for Time-Series DataTDengineTelegrafKafkaOPC-UAMQTT BrokerClusteredIndustrial Automated SystemsSCADA/HMIAnalytics,ML AppPython/Matlab/RJava/C/C+/RestfulIoT Application Visualization T

5、ool GrafanaWeb Based Management Tool21,400+4,600+18,500+社区版开源2019.07.12集群版开源2020.08.03云原生版开源2022.08.13注:GitHub 为截止 2023 年 5 月数据TDengine 的核心代码全部开源 50 多个国家安装实例超 270k GitHub 全球趋势排行榜多次排名第一TDengine-数据模型1.设备 ID 及关联属性（Tags）2.时间戳3.结构化采集量STable 超级表Table 子表CREATE STABLE meters(ts TIMESTAMP,current FLOAT,volta

6、ge INT,phase FLOAT)TAGS(groupid INT,location VARCHAR(24)TDengine-业务模式开源版开源版企业版企业版云服务版云服务版核心功能开源核心功能开源SQL 支持无模式写入缓存流计算数据订阅集群、高可用高可靠、线性扩展高可靠、线性扩展+专业技术服务专业技术服务边云数据复制跨云/异地数据复制增量备份多级存储工业数据接入全托管时序数据全托管时序数据管理云服务平台管理云服务平台全托管服务VPC 对等连接多云部署（AWS/Azure/GCP)CONTENTSCONTENTS自 我 介 绍自 我 介 绍T D e n g i n eT D e n g