DingoDB：从 HSAP 到多模向量数据库的技术演进之路-孟圣智.pdf

1、DingoDB-从HSAP到多模向量数据库之路九章云极DataCanvas 孟圣智目录AGIAGI时代的数据架构演进时代的数据架构演进DingoDB的技术架构基于DingoDB的RAG实践数据架构的演进New Data Stack(2023)Data Warehouse(20082015)Data Lake(20162022)数据规模数据模态数据分析复杂度SQL、OLAP、统计、机器学习、深度学习、自助分析、分析建议、AIGC、AutoMLGPT结构化表表语义与文件多模与向量企业数据世界知识与行业数据主题数据New Data Stack时代的数据架构地图经CDC到OLAP库OLAP DB vi

2、a CDC应用软件Applications事件捕捉Event Collectors日志报告Logs第三方数据接口3rd Party APIs文件及对象存储File&Object Storage数据连接器Connectors数据建模Data Modeling工作流管理Workflow Manager事件流Event Streaming流处理Stream Processing人工智能与大模型平台AI&LM Platform大模型LLM即席查询引擎Ad Hoc Query Engine实时分析Real-time AnalyticsBI仪表盘Dashboard嵌入式分析Embedded Analyti

3、csAPP开发框架App Frameworks增强分析Augmented Analytics自助分析程序Self-service Apps生成式AI应用AIGC App元数据管理Metadata Management查询及测试Query&Testing授权与安全管理Entitlements&Security可观测性Observability向量海向量海Vector OceanVector Ocean向量搜索与分析Vector search&Analytics计算引擎平台Spark Platform算子与代码库Operators&code libs批量查询引擎Batch Query Engine

4、New Data Stack时代的数据架构地图经CDC到OLAP库OLAP DB via CDC应用软件Applications事件捕捉Event Collectors日志报告Logs第三方数据接口3rd Party APIs文件及对象存储File&Object Storage数据连接器Connectors数据建模Data Modeling工作流管理Workflow Manager计算引擎平台Spark Platform算子与代码库Operators&code libs批量查询引擎Batch Query Engine事件流Event Streaming流处理Stream Processing人

5、工智能与大模型平台AI&LM Platform大模型LM即席查询引擎Ad Hoc Query Engine实时分析Real-time AnalyticsBI仪表盘Dashboard嵌入式分析Embedded AnalyticsAPP开发框架App Frameworks增强分析Augmented Analytics自助分析程序Self-service Apps生成式AI应用AIGC App元数据管理Metadata Management查询及测试Query&Testing授权与安全管理Entitlements&Security可观测性Observability向量海Vector Ocean向量搜

6、索与分析Vector search&AnalyticsAPS APS 人工智能平台人工智能平台JarvexJarvex知识知识智能体智能体DingoDBDingoDB 多模向量数据库多模向量数据库AlayaAlayaLLMLLMVector Ocean时代的数据生态Analysis and Compute Enginefor Any DataImagesImagesDocumentsDocumentsAudiosAudiosVideosVideosMLStreamingAnalysisData ScienceAIBIRelation TableStructured DataKey-ValueD