Elasticsearch 在derbysoft日志平台的优化实践.pdf

1、中国开发者大会 2023ES在derbysoft的优化实践黄绍平，数据平台负责人德比软件 derbysoft，2023/04/08中国开发者大会 2023 日志系统简介分享嘉宾写入ES(Kafka Connect)成本优化其他优化从2015年开始接触大数据相关技术，对Kafka，Hadoop，Elasticsearch 相关技术有多年经验，目前主要专注于基于AWS云的企业数据湖数据仓库平台建设中国开发者大会 2023 日志系统架构简介日志系统架构简介中国开发者大会 2023 日志格式：timestamp:2023-03-29T11:39:58.943,app_name:abc-app,host

2、:10.0.0.1,region:cn-north-1,version:v2,process:Book,process_result:Success,process_duration:32,./基于不同事件会有其他字段日志系统简介日志系统简介每日size：5TB每日document数：120亿Indexing rate:12w/s*按照写入ES后的单复本统计ES版本为 6.8，以我个人的理解本分享的经验也完全适用7.x版本。写入ES(Kafka Connect)中国开发者大会 2023 日志写入日志写入ESES方案方案早期我们完全自己实现了一套写入ES的组件，存在如下问题：依赖MySQL实现任

3、务分布式分发控制，过于复杂，并且不稳定数据转换逻辑和整个工程耦合新方案改用Kafka ConnectKafka Connect：分布式任务控制交给Kafka Connect实现数据转换逻辑解耦，仅需开发数据转换逻辑代码，以插件的形式部署通过升级Kafka Connect，以及Connect ES Sink插件配合上下游系统升级中国开发者大会 2023 新方案需要满足的需求新方案需要满足的需求实现kafka topic和ES index 多对多的映射通过配置实现基于日期时间分索引，如按年，按月，按日可实现自定义的数据转换逻辑可实现数据字段格式类型校验，确保写入ES数据类型正确异常消息进死信Top

4、ic，并写入ES，便于排查问题数据写入任务的管理（创建，配置，启动，停止）中国开发者大会 2023 基于基于Kafka Connect Kafka Connect 写入写入ESES的架构的架构 Connector 本质上是一个Consumer Group,来消费Topic数据，每个Connector对应写一个ES Index Transform即执行自定义的数据转换逻辑代码 Kafka Connect 提供了Connector创建,更新，暂停，删除，状态获取等HTTP API 死信Index，用于排查问题 Log Ops Tool,自研的一个配置和任务管理工具实现 200+Kafka Topi

5、c通过100+Connector 将数据写入对应 100+索引.中国开发者大会 2023 ConnectorConnector配置配置topics:topicA,topicB,#指定消费数据的topic列表#指定是一个ES的sink connector，以及ES对应的连接配置信息connector.class:io.confluent.connect.elasticsearch.ElasticsearchSinkConnector,connection.url:https:/10.0.0.1:9200,#指定定制的Transformation，功能包括：a)完成定制数据转换逻辑;b)执行数据类

6、型的校验transforms:eventlog,transforms.eventlog.type:com.derbysoft.kafka.connect.transforms.EventLog,#通过API获取日志schema的定义，作为数据类型校验的依据transforms.eventlog.fields.whitelist.url:http:/10.0.0.2:8080/api/field/schema,#自定义index名称，并基于dateFormat实现按日期时间划分索引transforms.eventlog.index.pattern:myindex-yyyyMMdd,#开启死信队列