7.6张功贯-天穹数仓自治能力新实践hy2.pdf

1、DataFunConDataFunCon#20242024天穹数仓自治能力新实践张功贯-腾讯科技-数据技术架构师FlumeLogstashSqoopKafkaPulsarHBaseHDFSSparkFlinkStormMapReduceHiveDruidKylinImpalaPrestoOozieAzkabanZookeeperStarrocks个人简介张功贯（架构师）10多年大数据技术工作积累，2021年加入职腾讯，负责平台智能的数据架构工作，推动天穹AI4Data的能力体系建设。擅长领域大数据生态技术大模型数据智能广告、搜索、推荐、平台自治1.大数据自治的背景2.天穹大数据自治能力建设3.

2、天穹大数据自治的落地与进展4.未来规划和展望目录目录大数据自治涵盖的范畴数据采集数据接入数据计算数据存储数据应用数据治理数据研发业务发生问题帮助解决问题管理数据整个生命周期数据产生数据使用数据销毁整个过程，涉及到组件多，问题域大：质量、时效、研发等等业务、技术的快速发展ETLETL（1990-20151990-2015）ELTELT（20052005-2020-2020）EtLTEtLT（20202020至今）至今）Oracle RAC、DB2、Teradata、GreenPlum传统数仓大数据数仓Hive、Hadoop/MR、Spark、Impala、HAWQ数智数仓IcebergIcebe

3、rg，HudiHudi，Delta Delta LakeLake，DorisDoris架构单一结构化数据规模小架构复杂：Lambda、Kappa实时性较低结构化 半结构化 异构化数据规模爆炸性增长实时性要求高计算复杂架构复杂：流批一体、湖仓一体异构化 半结构化 结构化数据规模爆炸性增长实时性要求极高计算复杂大模型(LLM)数据飞轮数仓模式演进：EtLT崛起E EDatabaseExtractionCDC ReadingFile ExtractionSoftware APICloud APISaaS APIExtractt tType TransformData FilterStructureT

4、ransformDirty Data CleaningTransformL LData JDBCBulk LoadLog SyncTable StructureChangeAPI LoadReverse ETLLoadT TTransformBusiness ETLDesignETL Develop Ops OperationAl CollaborationDataJoinAggregationSQL Coding&ManagementData Reconciliation and Relationship CheckingTraining and DeploymentClickHouse偏数

5、据底层工程架构贴合业务偏数据上层应用数据架构师数据安全工程师ETL/ELT工程师数据运维工程师销售分析师市场分析师AI工程师数仓/SQL开发者湖+仓无需提前建模Schema On Read高灵活性提前建模Schema On Write灵活性、扩展性较差湖仓一体存储、计算复杂度全面升级目录目录1.大数据自治的背景2.天穹大数据自治能力建设3.天穹大数据自治的落地与进展4.未来规划和展望腾讯天穹自治平台双引擎策略SQL智能体专家经验传统机器学习数据采集数据接入数据计算数据存储数据应用平台自治平台自治资源计算研效内存资源CPU Core相似计算数据基线运行时长资源组定位问题预判问题拦截问题智能优化健

6、康分12自动SqlHint智能RSS 热点表等感知力观测力诊断力优化力双引擎双引擎决策决策在自治能力建设中“感知能力”放首位SQL智能体专家经验传统机器学习平台自治平台自治12做到对数据相关“进程”粒度的感知已基本覆盖天穹平台所有物理机/容器，每天感知的数据量在万亿的规模感知力感知力观测力诊断力优化力双引擎双引擎决策决策可观测能力的建设SQL智能体专家经验传统机器学习平台自治平台自治12让大数据生态的“黑盒”更加透明化感知力观测力观测力诊断力优化力支撑到任务、进程粒度的数据上卷和下钻能力双引擎双引擎决策决策全链路诊断能力的构建SQL智能体专家经验传统机器学习平台自治平台自治12大数据生态，数据