韩炳涛 -AI融合大数据助力产业数字化升级（GOTC上海会场）（13页）.pdf

《韩炳涛 -AI融合大数据助力产业数字化升级（GOTC上海会场）（13页）.pdf》由会员分享，可在线阅读，更多相关《韩炳涛 -AI融合大数据助力产业数字化升级（GOTC上海会场）（13页）.pdf（13页珍藏版）》请在三个皮匠报告上搜索。

1、AI、大数据与数字经济论坛专场韩炳涛 2021年07月10日本期议题：AI融合大数据，助力产业数字化升级AI融合大数据，技术中台赋能数字化转型3种应用部署模式N个数字化场景数字治理数字经济数据治理推理加速自动分布式训练低代码建模开箱即用Inference RuntimeOperation System&Device Driversx86x86ARMARMGPUGPUFPGAFPGAMaliMali端KubernetesDockerGPUGPU 集群集群存储集群存储集群管理节点管理节点Service PortalMicro Micro ServicesServices云联邦Task Manage

2、rCross SiloCloud OSCaaSDockerT1T2Cross DeviceOSLinuxAndroidTask Processx86ARMGPUFPGAIOSServerClientCoordinator1Coordinator2Selector数字生活数据统一1高效开发2云端协同3异构适配4场景闭环非侵入式开箱即用以分布式云为基础，实现大数据+AI全场景部署 420G大带宽 一体化部署，分钟级交付极宽 5ms超低时延 裸容器轻量化部署极速 硬件加速 2000节点规模部署极强全网算力快速部署，一体化协同TECS Cloud Foundation边缘机房接入站点中心机房AnySe

3、rviceAnyScaleAnyWhere全场景算力1统一双核云底座2积木式行业云套件3集中化统一管理4大数据+AI整体上云技术挑战 高效的存算分离架构 批流一体的计算架构 基于K8S的统一调度器 数据分析和深度学习统一建模 自动化模型部署物理集群物理集群/IaaS/PaaS/.HDFSGolden DB第三方Yarn/Kubenetes海量计算实时计算实时交互数据仓库深度学习MR、sparkStorm、FlinksparkSQL、HBase、ESHIVE、KlyinTensorFlow、Ray、PyTorch数据处理数据处理建模建模分析训练基础设施数据存储数据计算数据服务manager安全管

4、理运维管理license管理数据应用存算分离架构优势与挑战统一命名空间HDFS联邦主存储第三方存储主计算组件第三方计算组件缓存加速组件 Alluxio其它存储组件大数据+AI应用数据迁移数据互通弹性扩展计算区独立部署和扩展中间层存算解耦、存算粘合存储区独立部署和扩展热 RAM温 SSD冷 HDD存储、计算解耦，各自独立集群各自弹性扩缩容，减少浪费、提高资源利用率专用的存储集群可实现跨文件系统的数据融合计算集群可以更为灵活的部署算法分级缓存加速数据读取基于开源接口实现，上层应用无感知存储计算一体存储计算分离性能高性能中不够灵活（计算力、存储量、应用量）组网灵活，按需增减硬件采购成本高异构硬件，降

5、低成本解决存算分离的性能降级问题IO密集型场景性能最多可提升40%，总带宽节省10%-50%Alluxio缓存计算节点计算组件计算节点Alluxio存储集群热数据热点数据计算中间结果纠删码Block1Block2Block4Block 5Block 60-1MB1-2MBParityBlock32-MBData相较HDFS（三副本），写性能提升40%，存储节省50%（4+2）多模shuffle写缓存技术Client内存存储集群SSD/HDDClientHDDSSDHDDSSDHDDSSD通过SSD快速落盘，再异步写到HDD。节点比ALL_SSD性能低17%，比ALL_DISK性能提高108%s

6、trip 1 strip n .异步写根据不同的配置客户端shuffle到不同的系统中批流一体的计算架构Log MessageRDS清洗关联转换轻度汇总高度汇总数据湖层业务层数据修补OLAP、报表取数服务AD-Hoc即席查询、监控、在线类服务特点：流批一体，计算引擎统一；湖仓一体，统一存储，降低数据孤岛问题明细层加工汇聚层加工基于K8S统一调度框架Kubernets.大数据作业接口层配置中心物理资源池存储服务网络服务标签服务云底座服务调度框架Scheduling FrameworkKubernetes-Schedu