Vearch 的 GPU 方案在海量向量检索系统上的应用创新.pdf

1、京东1、研发背景2、产品概述3、技术核心4、性能与效果评测5、GPU优化6、产品应用场景&合作案例7、产品规划#page#京东研发背景产品痛点随着A业务场景的不断丰富，文本、图像、视频Bai百度等数据都抽取了大量的特征向量以应用于大部分业务场景（例如以图搜图、视频相似度检测、人知乎以图搜图脸识别等），但目前尚无一套完整的解决方案来视频版权保护满足海量特征向量的存储、计算。推荐系统搜索排序城剪解决方案人脸识别安防领域智能视频监控构建一套易用的在线系统，完整的解决海量特征Tencent腾讯向量的存储、计算，相似向量的检索问题，为文本、图像、视频检索等应用提供统一的基础设施并基于现有的部分业务抽象提

2、炼成一个服务于A时代的基础向量数据库#page#京东产品概述创建数据库和空间导入数据搜索数据集0586ewVector StoragUpdateVideoRetrievaDeleteTexModaPo.HNSW）ScalPSSearctAuii#page#京东产品概述-功能列表门实时索引标量存储横向弹性扩展2持久化8Restful接口算法插件服务395支持GPU支持docker字段过滤#page#京东产品概述-核心优势核心优势一支持十亿量级向量存储、查询，像ES一样非常灵活易用；核心优势二应用广泛，通过独立算法插件服务，可作为系统级基础设施，广泛应用于视觉和自然语言处理等深度学习场景；核心优势

3、三毫秒级检索，实时索引#page#京东技术核心-架构VearchCsHL APacMasterPackeVLPaeayauReAETCDSR#page#京东技术核心1、实时向量索引-高性能无锁实现；内存可动态扩展，延退释放等技术支持add，delete和update2、支持多种向量检索模型及索引适应不同数据规模，不同召回精度等要求3、标量字段范围过滤查询-B树实现，实际查询请求中，通过范围过滤可大幅提升性能4、基于Raft强一致分布式系统#page#京东技术核心5、支持文档中常规标量字段的存储和索引；多标签的实时存储及检索6、通过IVFPQ等量化模型后，提供了召回TopN原始向量的精排功能7、

4、支持原始向量，标量，向量索引和标量索引的持久化8、支持单文档多向量的存储及检索9、支持基本的交，标量字段范围过滤等组合查询语法#page#京东技术核心10、端到端，完整应用场景解决方案clientImage，Text，VideoPlugin serviceAPI proxymodelsCDDB/tableyolov3resnetCRUD documentvectorvearch-提供以图搜图和视频智能人物监控算法插件。可零基础，一键式部署#page#京东技术核心-向量检索模型1、IVFPQPQ量化索引，内存占用小，召回有一定精度损失，适用亿级以上大规模数据。旗舰版性能较原生faiss有20%-

5、40%性能提升2、IVFFLAT索引按聚类质心分桶，对百万规模数据集暴力搜索（消耗较大计算资源），召回率能到100%。旗舰版性能在大batch情况下较原生faiss可提升2-3倍3、HNSW按多层次图构建索引，召回精度高，占用内存大，适用干万级规模数据4、二进制索引汉明距离计算5、SSG目前召回效果上SOAT，内存占用大，索引时间消耗长#page#京东性能与效果评测VGG10M expriment1.01450.91350.8125售0.7Recallncen=256Recallncen=2048115Recallncen=81920.6QPS ncen=256QPS ncen=2048QPS

6、ncen=81921050.5501001502000nporbeIVFPQ检索模型相关对比试验更多评测结果见：https:/ experiments250OPS.cfvag1QPS ovgg500OPSofvgg50OMwith fiter2000250150017505005010001250Averagelatency(ms）大规模CPU服务器集群测试#page#京东性能与效果评测亿级以上向量，低延退计算利器：GPU存储：单台GPU物理服务器能支持亿级以上向量的存储计算：离线批量向量相似度计算，QPS数干正常在线单条相似度计算，QPS数干#page