Elasticsearch 在字节跳动的实践.pdf

1、ES 在字节跳动的实践在字节跳动的实践黄杨锋，ByteES 负责人字节跳动，2023/04/08中国开发者大会 2023应用：ByteES 是什么？成长成就团队团队业务BP平台服务Core&Plugins云原生追求极致产品产品内核(ByteES 23.1)架构演进插件周边生态稳定好用服务服务稳定是基石性能快响应快体验好应用：业务概况1500业务数3000集群数节点数40,000应用：应用场景向量检索05音频/视频/图片的检索维度/召回率/动态更新/内存消耗时序型场景04写多读少（日志/metric 等）按天/月 建立索引冷热分离，节约成本全文检索03模糊查询（match，query_strin

2、g 等）注重排序/打分/分词结合搜索中台做各种搜索策略高安全性场景02存储敏感信息（如消息/薪资/简历等）安全分级/全链路加密/落地加密审计/认证授权结构化搜索01等值查询/范围查询区分度高低不均POI 检索06GEO查询(球面距离查询，范围查询）CPU消耗大，按区域分索引电商/教育/房产 等业务飞书/People OKR 等业务小说/音乐搜索 等业务日志/风控/metric 等业务音视频/拍搜题/云图片 等业务地理位置中台/抖音POI 等业务私有化/公有云07ToB类版权问题KA1/KA2/KA3 等客户能力基线能力基线1.稳定稳定2.流式写入流式写入3.性能性能4.特性特性5.安全安全6.

3、成本成本7.问题定位问题定位8.监控告警监控告警架构：可用性架构-freeCCR 主从同步 诉求：多备分摊读压力容灾需求Licencse Free实时性要求较高 特点：索引维度的主备不支持主备切换采用推送方式秒级延迟架构：可用性架构-多活 诉求：数据已经在MQ/Mysql不能降级读 特点：消费MQ，消峰稳定回拨offset，补写重放相互独立，集群间互不影响故障期间能读写最新数据链路较长架构：可用性架构-跨区域数据同步(CRR)诉求：跨洋跨区域容灾跨洋跨区域数据同步 特点：适用于网络延时高(200ms)数据回环写入冲突 局限：多区域对同一文档的不同字段同时部分更新 数据一致性校验及补偿计算存储分

4、离：不仅仅是使用了网络存储计算资源和存储资源彻底解耦，不会相互影响收益：计算/存储资源秒级扩容shard relocation/split/shrink 更快速不用写副本，写性能更快存储成本只有以前的1/(n+1)，并且安使用量计费架构：分离架构-计算存储分离业务诉求：CPU 100%了，能否快速扩计算资源？写入不够快？扩/缩容再快一些？运维是否更高效？成本能否更低？架构：分离架构-计算存储分离 特点：Primary Shard负责写数据和translog 均存储在NAS上同步SegmentInfosstate 互相独立主备毫秒级可见可插拔Directory，支持HDFS等其它存储 前提条件：

5、存储支持一写多读架构：分离架构-冷热分离 传统冷热分离：区分热节点/冷节点计算和冷热存储介质强绑定 特点：计算不分冷热，存储分冷热Master节点无感知、Shard不用迁移迁移流程更简单/性能更快Translog/metadata 存热介质，写冷数据性能更快同时适配存算分离架构和传统架构Segment 级别的细粒度调节，灵活性更高架构：分离架构-读写分离 非读写分离：读写耦合一起，扩缩容不方便，性能较低，成本较高 常规读写分离：额外拷贝至少一次数据 特点：写服务无状态、自适应扩缩容，提升性能潮汐特性，降低成本基于存算分离架构，零拷贝索引挂载 难点：优雅处理更新/删除可用：可控延时队列 现象：请

6、求波动导致服务不可用延时很长，基本都超时CPU 暴增内部堆积和Reject 请求数激增 业务预期：过载的部分失败，不过载部分应该要正常，而实际都失败。CPU 的变化应该和QPS的变化应该差不多的，而实际不是。可用：可控延时队列 思路：Search Queue 里还应考虑等待时间，对于等待过长的直接失败返回 效果：请求成功率有数倍提升堆积也能快速恢复功能：向量检索 诉求抖音/西瓜 音视频搜索高危音视频消重教育类 图片检索 功能特点召回率高(98%)查询速速快全内存耗CPUHNSW已支持PQ支持中安全：全链路 认证授权基于角色的访问权限控制支持KANI/SSO支持GDPR支持API 细粒度授权 安