陈晨-时序数据在可观测性中的落地与实践‍.pdf

1、时序数据在可观测性中的落地实践主讲人：陈晨演讲嘉宾介绍陈晨云杉网络产品架构师 可观测性领域从业者 云原生社区可观测性 Sig 发起者之一 多个可观测性项目开源贡献者 先后在不同行业和公司负责可观测性的研发和落地CONTENT目录2023K+0 01 1时序数据的应用和重要性落地所面临的风险和挑战浅谈可观测性的未来0 02 20 03 3Part 01时序数据的应用和重要性 时序数据的定义 时序数据的分类 时序数据的应用时序数据的定义维基百科：时间序列（time series）是一组按照时间发生先后顺序进行排列的数据点序列。广义：包含时间戳或时间索引，可以与时间相关联的数据。狭义：可观测性中的时

2、序数据。时序数据的分类单值：一行数据只有一个指标值，常见于 OpenTSDB、Prometheus。多值：一行数据上有多个指标列，常见于 TimescaleDB、InfluxDB。数据模型：依据一行数据内包含的指标列及其值的个数分为单值模型和多值模型。时序数据的分类即时：指标列自身可以表达一个运算后的结果，其中运算在产生数据前已计算完成。原始：指标列本身的值仅表达最基础的数据，需要操作符和聚合函数来依需计算。指标含义：根据指标列本身表达的含义可以分为即时时序和原始时序。时序数据的应用Peter.Bourgon：三大支柱之一的指标时序数据的应用时序数据的应用CNCF核心信号：Continue P

3、rofilePart 02落地所面临的风险和挑战 复杂多样的采集器 功能差异的分析器 数据膨胀的存储端 缺少关联的元数据 功能缺失的产品端复杂多样的采集器分布式：各司其职的采集器，代表 prometheus 生态的 exporter。优势：功能简单，互不影响，易于维护和开源生态的发展劣势：多进程维护和管控复杂，大多数缺少自身的可观测性集中式：一个采集器采集大多数据，open-falcon，deepflow。优势：部署简单，功能集中，可适配多种数据的收集劣势：单进程，部分功能问题可能导致整体不可用部署方式：分布式和集中式。复杂多样的采集器预聚合：采集阶段生成的即时数据，例如 Falcon age

4、nt，Telegraf，DeepFlow。原始数据：采集阶段生成的数据为原始数据，代表为 Prometheus exporter，Pyroscope。构造方式：预聚合和原始数据。功能差异的分析器PromQL：Query language for Prometheus。Recording Rule：Server 端预聚合原始指标为即时指标。Job For Metric：Pull model 专用的 job 组件。Prometheus：云原生时代的指标分析器。功能差异的分析器FlameQL：Query language for Pyroscope。Multi Language：多语言支持。Auto

5、 Profile：基于 eBPF 对内核的剖析。Pyroscope：持续剖析的领跑者。功能差异的分析器Open Telemetry：分析器不再局限于数据处理和提供产品 API，提供标准的输入输出流。Receiver：接收外部数据的接收器。Processor：数据的处理管道，可组合。Exporter：转发到任意目的地的输出器。数据膨胀的存储端ClickHouse：列式存储的领跑者。列式存储：列数据连续存储。高度压缩：磁盘消耗和 CPU 消耗的权衡。多核处理：并行处理大数据。磁盘存储：相对于其他列式存储而言。增量存储：相比而已大多为数据的增加。数据膨胀的存储端VictoriaMetrics：时序数

6、据存储的领跑者。生态：查询兼容主流时序数据语法。开源：单机、集群版开源。性能：单机、集群性能优秀。数据膨胀的存储端写入压测数据对比：victoriametrics vs influxdb缺少关联的元数据元数据：不变且具备关联的数据缺少关联的元数据DeepFlow AutoTagging标准 Tag：开销 10 x 降低自定义 Tag：零开销资源池区域可用区云平台租户云资源宿主机云服务器网络资源VPC子网CIDRIP地址NATGWALB.容器资源容器集群容器节点命名空间容器服务IngressWorkloadPODAp