朱杰Elasticsearch 8让企业更快更好落地RAG应用.pdf

1、朱杰Elastic中国首席解决方案架构师 160K+Commits110K+GitHub Stars46亿+累计下载量120亿+Elastic Cloud 每天搜索的量200K+Pull Requests过去需求现在需求全文搜索结构化搜索聚合统计复杂混合搜索排序调优分词向量搜索向量和经典搜索的混合语义搜索模型重排序RAG文档加工切片索引构建Query理解改写扩充Elasticsearch多路召回重排序LLMPromptRAG定制模型评测指标文档加工切片索引构建Query理解改写扩充Elasticsearch多路召回重排序LLMPromptRAG定制模型评测指标创建Embeddings混合搜索(

2、文本+向量)embedding 模型过滤&切面自动提示文本,地理位置搜索数据摄取(web crawler,connectors,Beats,Agent,API framework)搜索分析开箱即用的训练模型文档级别安全自部署/云/混合云存储和搜索向量大多数的向量数据库一些向量数据库Elasticsearch 基于HNSW的索引 原生向量数据库，并非是插件 与现有ES搜索功能高度融合进行混合搜索聚合硬件加速利用CPU硬件指令加速向量索引和计算速度增加单个查询并发增加查询并发度，充分利用更多的计算核心向量量化向量有损压缩，float到int8、int4来平衡精度、速度和成本并发查询间协同一个查询的

3、多个并发线程间协同共享信息，提前终止一些查询线程更快更强Panama Foreign Function Interface(FFI)调用本地代码ARM 本地优化代码X86 本地优化代码Elasticsearch进一步利用本地代码进行加速利用更多硬件能力并全面应用到其它搜索和计算Elasticsearch会更多利用本地代码Panama Vector API 实现确定的向量化SIMD指令FMA指令Lucene利用硬件加速编译器自动向量化阿里云ES 8.13 将会全面启用硬件加速能力 集群整体吞吐优先 限制单个查询的资源 每个查询每个分片一个查询线程 每个查询每个分片中的段一个查询线程 改进了搜索延

4、迟 可以重复利用更多核心数 应用到其它搜索领域 并发间协调以前现在转化向量的数据类型 float32 to Int8 Int4大多数模型输出 float32 类型的向量Int8 Int4 可以更好的在精度、性能、成本之间平衡 对精度有一定影响通过增加候选数量来缓解优化了索引的大小增强搜索性能、降低搜索延迟增强索引性能第三方Embedding模型密集向量text embeddings稀疏向量密集向量 image embeddingsElasticsearch Search APIsBM25文本搜索强大的语义和混合搜索RRF一个文档确定的多个向量字段标题、摘要不确定数量的一组向量每个段落一个向量

5、语义搜索，融合 文档切片的需要X1X2X3XnX1X2X3XnX1X2X3XnDocumentHuggingface$eland_import_hub_model-url https:/Cluster_URL-hub-model-id bert_model-task-type text_embedding-starteland阿里云 ElasticsearchInference APIembedding、chat、rerankElasticsearch直接部署模型私有化部署的模型在线推理服务例如：阿里云 PAI例如：阿里云 DashScope精细化权限控制基于规则的关键词过滤索引级别字段级别文档级别通过构建规则混合搜索中精确过滤掉敏感信息企业认证服务集成精细化控制需要有和集中认证服务整合的能力阿里云Elasticsearch 8.13+全新的计算引擎ES|QL更强更快更简单的向量引擎全面的Search AI能力云原生Serverless化elastic.co/search-labselastic.co/security-labselastic.co/observability-labs