《PostgreSQL 上的向量搜索实践-高策.pdf》由会员分享,可在线阅读,更多相关《PostgreSQL 上的向量搜索实践-高策.pdf(20页珍藏版)》请在三个皮匠报告上搜索。
1、PostgreSQL 上的向量搜索上的向量搜索高策TensorChordIvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛IvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛关于关于 VectorChord基于 Postgres 的向量搜索引擎,前身 pgvecto.rs90%的数据在过去的两年被生产的数据在过去的两年被生产IvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛1 Zettabyte=400,000 Petabytes,(2010-2025)source:https:/ LLM 使用使用I
2、vorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛Agent 等新场景进一步扩展对向量搜索的需求等新场景进一步扩展对向量搜索的需求IvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛通过将交互存储在矢量数据库中,实现了上下文保留和自适应学习,从而使人工智能代理能够回忆过去的经验并随着时间的推移改进矢量数据库处理文本、图像和音频的语义搜索,以实现长期记忆。什么是向量搜索什么是向量搜索IvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛Do we really need a specialized vecto
3、r database?(2023)什么是向量搜索什么是向量搜索IvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛Top 5 Open-Source Vector Databases for Scalable AI Solutions独立的向量数据库存在一致性的问题独立的向量数据库存在一致性的问题IvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛现有方案现有方案 pgvector 的问题的问题IvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛现有方案现有方案 pgvector 的问题的问题IvoryS
4、QL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛当前支持的最大向量维度为2000(受限于8kb页面限制)但用户需要更高维度的向量支持以实现更好的召回效果各主流嵌入模型维度对比:OpenAI嵌入:3072维NV嵌入:4096维MTEB榜单Top10的嵌入模型全部超过2000维仅1个Top20模型(兼容pgvector)低于2000维基于基于 PostgreSQL 的统一方案的统一方案 VectorChordIvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛部分指标部分指标IvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论
5、坛高峰论坛部分指标部分指标IvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛部分指标部分指标IvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛幕后技术幕后技术:RabitQ+IVF+FastScan+Better Storage LayoutIvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛基于基于 SQL 的统一开发体验的统一开发体验IvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛Case Study-Earth IndexIvorySQL 2025生态大会生态大
6、会暨暨PostgreSQL高峰论坛高峰论坛该团队将地球划分为超过32亿个重叠的10公顷单元(每个单元约相当于中央公园面积的3%),并运用前沿AI基础模型将其编码为可 搜索的地理空间数据库GCPs vector search would cost$237K/month(!)Case Study-ImmichIvorySQL 2025生态大会生态大会暨暨PostgreSQL高峰论坛高峰论坛挑战:专用向量数据库和 SQL 数据库始终未能完美同步带过滤条件的查询难以优化,性能往往达不