《向量数据库-AI时代的基础设施- 李成龙.pdf》由会员分享,可在线阅读,更多相关《向量数据库-AI时代的基础设施- 李成龙.pdf(27页珍藏版)》请在三个皮匠报告上搜索。
1、https:/nebula-向量数据库AI时代的基础设施李成龙01Zilliz 和 Milvus 简介Zilliz向量数据库的开拓者和全球领先者作为全球最受欢迎的开源向量数据库 Milvus 的创造者,Zilliz 提供面向 AI 应用的新一代数据库技术,帮助企业便捷开发 AI 应用。以 AI 民主化为使命,Zilliz 致力于简化 AI 数据管理基 础设施,通过向量数据库赋能更多企业。2017创始于$113 M融资总额130+员工Forrester Wave向量数据库报告:Zilliz 获评领导者象限最高分https:/ 10,000 家企业用户共同打磨 5 年,是全球范围内最成熟的分布式向
2、量数据库Enterprise users10K+stars30Kdocker pulls66mforks2.8k用户生态02向量数据库基本知识为什么需要向量检索-关键词检索丢失上下文,语意和用户意图VS苹果面包更换轮胎面包吐司VSVS什么是向量数据库向量数据是什么“向量数据”:向量数据是由多个数值组成的序列,一个向量的模长和方向都包含了信息量。图像,文本,语音,视频都可以通过深度学习提取向量进行语意学习向量数据库是什么向量数据库是专门用于存储和查询高维向量数据库的数据库系统向量数据使用方式提取插入索引搜索运算767 653Embedding+向量数据库,处理非结构化数据的新范式ML Model
3、sPerformSearchUnstructured DataData ApplicationML ModelsVectorEmbeddingsStore in Vector Database向量数据库面临的挑战维度!维度!维度!Less than 100%Accurate Matters数据实时性查询本身越来越复杂,不仅仅是ANN海量向量数据的处理,扩展性分治解决随着AI技术的发展,Embedding space本身的语意更加丰富03Milvus-全球领先的向量数据库Milvus 设计理念复杂Schema支持灵活的部署模式云原生弹性扩展至100B向量存算分离,秒级扩缩容K8s原生架构,无状态
4、支持笔记本边端一键安装开源自运维,云免运维一套API,满足不同场景支持Dense,Sparse,Binary向量支持复杂标量和对应索引支持Hybrid Search,Group By,多租户为云而生的向量数据库Coordinator ServiceRootQueryDataIndexSDK&APIMeta StorageetcdCONTROL SIGNALNOTIFICATIONAccess LayerProxyMessage StorageLog BrokerWorker NodeQuery NodeData NodeIndex NodeObject StorageLocal File Sy
5、tem/Minio/S3/Azure BlobLog SnapshotData FileIndex fileDefinitions&ControlInsertSearchDATADATA向量查询能力TOP-K 近似查询RANGE 近似查询表达式过滤与近似查询混合按表达式过滤按主键查询Milvus 2.0-核心能力动态Schema丰富的数据类型支持百万级用户多租户能力支持Float,Binary等多种向量数据即增即查,实时落盘支持修改和删除标签+向量存储独家过滤性能优化基于磁盘的ANN索引MMap存储GPU支持Intel+ARM Cpu支持支持数据离线倒入支持索引池化混合查询关键词+向量检索RB
6、AC支持TLS,数据加密扩展能力从 6500万 向量水平扩展至 10亿 向量,系统查询延迟与查询吞吐基本保持稳定03Zilliz Cloud-向量数据库即服务Zilliz Cloud-全托管免运维的向量服务 支持主流云厂商 三机房可用,SLA 99.95%支持Serverless,Dedicated Cluster,BYOC多种部署模式 完善的监控,报警,企业级能力 支持非结构化数据处理Pipeline 安全合规,完成SOC2,ISO27001,HIPAA,GDPR认证Cardinal Zilliz Cloud 高性能向量检索引擎极速向量搜索Zilliz