从统一数据治理到下一代企业级 Data Agent 的实践与创新（公开）.pdf

1、从统一数据治理到下一代从统一数据治理到下一代企业级企业级 Data Agent Data Agent 的实的实践与创新践与创新演讲人：史少锋Datastrato/VP of engineering关于我 Datastrato VP of engineering Apache member,Apache Incubator PMC,Mentor of Apache Gravitino,Gluten,HoraeDB 等多个项目史少锋01010202030304040505目录AI 时代的数据需求现有技术的挑战统一数据治理的价值企业级 RAG 和 Data Agent统一数据管理最佳实践AI 时代的

2、数据需求AI 技术的应用激发企业对数据的旺盛需求AI 的应用重度依赖于数据；没有数据，AI 会成为无源之水、无本之木根据IDC估计，全世界的数据量将从2018年的 33 ZB，增长到2025年的 175 ZB。数据 AI 应用的核心输入数据加工数据集模型向量提示词数据贯穿于 AI 应用的整个链路数据治理 AI 应用中不可或缺的部分数据发现数据血缘数据治理数据安全不同组织之间分享和发现数据集、模型等数据之间的生成依赖关系等权限控制、加密策略、访问审计等数据标准、数据质量、数据生命周期等优秀的数据治理对 AI 的成功应用至关重要AI is Only as Good as your Data man

3、agement is GoodGarbage in,garbage out!Garbage in,garbage out!https:/www.llamaindex.ai/blog/introducing-llamacloud-and-llamaparse-af8cedf9006b现有数据管理技术的挑战数据被锁定在不同的数据源中数据湖数据仓库消息队列向量数据库分布式文件系统传统大数据时代GenAI 时代结构化、半结构化为主非结构化为主数据被地域分割企业由单云单域架构向多云多域架构迈进数据合规的限制不可避免的数据分割跨云数据的传输成本GDPR、CCPA 等要求中心化的数据纳管已不现实数据被组织分

4、割Sensitive InformationBusiness AKafka+AWS-ESOrder PaymentMysqlBusiness BKafka+RedisData EngineerInfra EngineerAI EngineerBusiness CKafka+Redis数据被孤立到不同部门拥有的数据平台中新业务和LLM需要一种统一的方式来访问所有数据。隐藏在数据底层的问题数据发现Automatically find,classify,and map all of your data-everywhere.数据连接Connect to the Data That Matters M

5、ost.数据分类Automatically classify more types of data in more places.数据生命周期管理Simplify and automate data lifecycle management from collection to destruction.PII&PI DataLegal Hold DataCredentialsIP DataTechnical&Business Data3rd Party Data元数据语义Enrich technical metadata with business and operational metada

6、ta for full visibility.数据主权Automate end-to-end data rights requests and reporting.多种因素带来的数据管理的挑战带来的挑战带来的挑战决策信息不完整缺乏统一的数据视图，导致没有全面的决策依据，错失商业机会资源浪费基础设施重复建设和重复投入，增加企业运营成本合规风险数据分散和不统一管理可能导致数据不一致、数据泄露等风险影响合规阻碍业务创新发展限制企业内部数据的流通与共享，阻碍数据价值最大化组织壁垒组织壁垒技术壁垒技术壁垒安全壁垒安全壁垒管理壁垒管理壁垒DataDataSilosSilosBusinessIntellig