胡嘉琪：数据湖迈向Data+AI 一体化平台的演进之路.pdf

1、数据湖迈向Data+AI体化平台的演进之路演讲：胡嘉琪?腾讯云数据产品经理AI 时代 IT 架构以数据为核Data Intelligence智能驾驶 Data?Centric 架构数据分析StreamStream实时流式数据服务，作为AL训练&推理数据输5在线推理在线推理9模型训练模型训练6模型评估模型评估7模型部署模型部署8训练样本实时路况、车载雷达等数据驶数据上报驶数据上报0数据版本管理数据版本管理1数据可视化数据可视化2数据查询分析数据查询分析3数据物化视图数据物化视图4车内动驾驶决策+AI应Image Source:The?Future?of?Deep?Learning?with?De

2、ep?Lake?Data?Centric?结合 LLM?是形成“新质产”关键Data?CentricLLM 基础模型LLM 应Data Centric能为 LLM 基础模型&应带来什么？Data for LLM 基础模型 数据成为 LLM 训练的核资源Data for LLM 应 企业私域数据+领域知识消除模型缺陷过去：以模型设计为核现在：聚焦数据质量与领域知识GPT-1GPT-24.8GB 未筛选的训练数据GPT-3GPT-440GB 筛选的训练数据570GB 精调数据（从45TB Raw Data）更多标注及问答演数据（规模未披露）ModelModelCentricCentricDatai

3、RAG/RAGFunction for Agent“AI数据分析师”“智能导购机器”“千千告图成”knowledge?base?for AgentData Centric下，需要新代的数据平台架构驱动数据平台不断演进的关键需求传统数据仓库Hadoop离线数据平台基于开源的组装式数据平台？12Now3传统数仓承载有限，需要新范式应对数据快速增长吞吐为满实时性需求引，更多引擎组件平台实时化往 Data+AI 体化融合演进，具备平台智能体化、智能化“信息化时代”“互联时代”“互联+时代”“AI 时代”业务应需求直在推动数据平台的进化GenAI时代数据平台变：Agentic?Analytics使对象关

4、键流程专业数据程师专业数据程师般户般户“数据民主化”“数据民主化”AIAI AgentAgent户请求AI Agent第三具数据分析洞察成ToolsTools内部业务系统：ERMERM|CRMCRM|OA.OA.外部具调：联搜索：联搜索|专业数据库专业数据库.任务细化Code成SQL查询数据可视化分析师 Agent供应链 Agent财务 Agent.未来越来越多未来越来越多AgentAgent会直接对接数据平台会直接对接数据平台综合，数据平台正在发以下需求变化.传统数据平台AI时代的数据平台数据+AI 融合典型应场景传统数据程离线数据处理+交互式体化在份数据基础上，持离线处理和AD-Hoc 业

5、务负载然语交互分析然语理解成分析SQL，提数据开发的产BI?看板&离线报表分析师精处理、分析形成的“固定“数据洞察离线数据处理（ETL）数仓分层&数据预处理交互式分析毫秒级实时数据 AD-Hoc 分析智能体（Agent）应企业内业务数据融合LLM，产更好的GenAI应AI?Search（RAG）可提供站式的精度全检索+向量检索RAG案DataOps+MLOps体化体化数据分析和AI应，降低运维与开发成本体化Data+AIData+AI体化场景延伸数据治系统AI-Driven?的数据平台资源管理与运维管理，极简化超规模数据平台的系统运维作批流体增量计算增量计算框架实现批处理+实时处理体化效实时智

6、能化围绕 Lakehouse?构建数据应新范式.DataForAIAIForDataAI SearchData?Driven?Agent?应NL2SQL智能治基于DeepSeek构筑结果更精确、稳定的多模态AI Search能，赋能企业级RAG应的快速开发和落地未来的数据平台是智能化的，以 AI 技术优化和迭代数据平台，提供更极简的产品体验和分析效率，亦可持AI应数据平台的交互式从 SQL 到然语交互分析，户可通过然语描述，快速查询、分析数据企业私域数据结合Agent开发框架，通过Tools调数据分析的强能，成更好的GenAI应Data+AI体化平台数据智能管家数据智能管家统元数据统元数据智能