向量数据库关键技术及其在电信大模型中的应用(中兴通讯尚长军) (1).pdf

1、PostgreSQL中文社区第13届PostgreSQL中国技术大会聚焦云端创新汇聚智慧共享中兴通讯股份有限公司 尚长军向量数据库关键技术及其在电信大模型中的应用PostgreSQL中文社区向量数据库关键技术EBASE向量数据库03EBASE向量数据库大模型应用04背景介绍0102PostgreSQL中文社区目录contents01背景介绍PostgreSQL中文社区PostgreSQL中文社区大模型应用的局限大模型的应用之路并不如想象的那么顺利。根本原因在于，虽然大模型很强大，但仍然在技术上存在一些关键缺陷。知识的时效性大模型规模越大，大模型训练的成本越高，周期也就越长，无法及时更新知识库。

2、因此，具有时效性的数据就无法参与训练，就难以回答与时效性相关的问题。检索增强生成(RAG)有助于解决这些问题。数据的安全性企业的数据安全至关重要，没有企业愿意承担数据泄露的风险，将自身的私域数据上传第三方平台进行训练。这也导致完全依赖通用大模型自身能力的应用方案不得不在数据安全和效果方面进行取舍。通用大模型无企业内部数据和用户数据，如果企业需要在保证数据安全的情况使用大模型，最好的方式就是将数据和业务计算全部放在本地，而在线大模型只完成归纳功能。Token的数量限制大模型会限制可添加至查询Prompt中的令牌数量。如ChatGPT3设置了4096个Token的限制，ChatGPT4（8K）设置

3、了8192个Token的限制。易产生幻觉大模型的底层原理是基于数学概率，其模型输出实质上是一系列数值运算，所以它有时候会一本正经地胡说八道，特别是在大模型自身不具备某一方面的知识或不擅长的场景的时候。知识局限性模型自身的知识完全源于它的训练数据，而现有的主流大模型的训练数据集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。PostgreSQL中文社区典型的RAG流程EmbeddingVector databaseContextQueryContextPromptLLMResponseQuery(1)Retrieve(2)Augment

4、(3)GenerateRAG的全称是Retrieval-Augmented Generation，中文即检索增强生成。RAG利用较廉价的向量存储来规避昂贵的计算，实现私域知识的管理，构建专业领域大模型应用，帮助大模型生成准确且符合上下文的答案，从而减少模型幻觉。RAG工作流程PostgreSQL中文社区向量数据库为大模型带来的价值作为大模型RAG的核心组件，向量数据库被广泛应用于大模型训练、推理和知识库补充。支撑训练阶段海量数据的分类、去重、清洗，降低大模型训练的成本，提升训练效率。新数据的带入，帮助大模型提升处理新问题的能力，突破预训练的知识时效限制，避免大模型幻觉的出现。提供一种企业私有数

5、据与大模型进行连接的方式，解决私域数据注入大模型带来的数据安全和隐私问题，加速大模型在产业落地。PostgreSQL中文社区大模型时代下向量数据库现状作为RAG系统的基石，向量数据库最近发展迅速，通常可以分为4种类型：原生向量数据库、基于关键字的全文搜索数据库、向量检索库以及SQL向量数据库。每种类型都有其优点和局限性。01原生向量数据库如Pinecone、Weaviate、Milvus等最初就专门设计用于向量搜索。它们在该领域表现出良好的性能，但通用数据管理能力稍有限制。02以Elasticsearch和OpenSearch为代表，这些系统因其全面的基于关键字的检索能力而被广泛用于生产中。缺

6、点是系统资源消耗量大，并且关键字和向量混合查询的精度和性能有时不那么令人满意。全文搜索数据库04SQL向量数据库SQL向量数据库是一种专门的数据库类型，它将传统SQL数据库的功能与向量数据库的功能相结合，可借助SQL高效存储和查询高维向量的能力。这类向量数据库易于上手，如果基于分布式数据库底座可以支撑大规模向量数据的存储和检索。03向量检索库如Faiss、Annoy等，一般用于实现的轻量级向量数据库。这类解决方案以向量搜索库（如 FAISS）为核心，围绕其构建数据库功能。这些产品通常具有较小的体积和较高的运行效率，但是不具备大规模应用的可扩展性。Chroma 是这类解决方案的代表产品。02向量