2024龙蜥大会阿里云分论坛：AI时代云原生芯片技术趋势和产品-吴天议.pdf

1、阿里云倚天ECS产品AI 时代，云原生芯片阿里云弹性计算首席架构师吴天议云原生芯片需求0101阿里云倚天产品0202E2E企业应用方案0303下一代产品0404阿里云-全面拥抱云原生与AI新浪潮20092017弹性计算（第一阶段）支持开发者创新创业t大规模对外提供云计算服务+按量、随需使用与游戏、互娱等众多客户共同成长，助力移动互联网浪潮软件定义虚拟化架构2021支持企业全面上云提效降本t软硬协同，为企业级应用提供高效算力+高稳定，高弹性，高性能支撑双11核心系统100%上云，阿里云神龙架构扛住全球流量洪峰软硬一体神龙计算架构弹性计算（第二阶段）为企业智能化转型提速t云原生算力，助力企业拥抱A

2、I新趋势+机器学习，极致互联，异构计算为企业云上创新及智能化升级提供全方位支持云原生异构计算架构灵骏训练集群弹性计算弹性计算（第三阶段第三阶段）AI时代应用需求：多种算力融合会话类应用电商交易游戏数据类应用大数据分析端视频/直播AI 智能应用搜索/推荐AgentNIVIDACUDA SIMTARMIntel/AMD X86Web类应用虚拟化分布式数据库HPC分布式存储AMX/AVX搜推广图像AI TransformerCNN弹性、低时延并行，高吞吐异构、高性能大数据AI时代计算的技术挑战离在线融合低时延-Web/Radis高吞度-Spark/Flink多租户共享高密-故障隔离IO/访存共享数据

3、搬移存算分离RPC/压缩高能耗成本，稳定性CPU-usage应用并存精细化运营1234挑战趋势数据膨胀云原生处理器应对技术挑战灵活&稳定按性能定义Core，稳定输出无性能抢占(MEM/Cache)高速互联CIPU 高性能IO，带宽共享存算分离垂直场景支持HPPTS，视频、大数据AI加速特性AI时代 云原生处理器通用计算以CPU为中心以GPU为中心CIPU实现芯片互联异构计算存算分离算力IO/存储指令/卸载02 阿里云倚天产品倚天710发布202120212020222220202424eRDMA高速网络NVMe EBS高性能云盘倚天ECS上线EasyYitianCADT最佳实践大数据/Java

4、 提升倚天场景方案倚天云产品持续演进，规模应用阿里巴巴集团规模落地 淘宝、天猫 蚂蚁、ODPS客户突破1000+，规模X百万核数据库/大数据/视频 大规模商用客户落地阿里巴巴更多应用落地 飞天盘古存储平台 达摩院大模型 钉钉会议系统基础：ACK、MQ、PAI、EMR、HPC，Video CloudDB：RDS、Redis、PolarDB倚天PaaS上线基础技术 服务器研发、CIPU适配 Alibaba Cloud Linux/Anolis 软硬件加速内外部用户大规模应用20232023高密计算高主频3.0GHZ，内存频率4800高密度核：2颗倚天CPU，整机密度256core高密服务器：采用1

5、U紧凑设计，空间降低50%，部署密度翻倍数据搬移加速eRDMA：VPC支持RDMA，比TCP时延降低一半，吞吐提高NVMe：采用NVMe ESSD云盘，时延降低10%倚天710 产品硬件架构L3 cacheALU2vCPUHyper threadL1 I/D cacheL2 cacheARM（Yitian）ECS.G8y.large1Corecore64K/64K1MB64MB/64vcpu1Corecore64K/64K1MBALU*4ALU*4X86ECS.G7.large1 CoreHTHT32K/48K1.25MB48MB/64vcpuALU*4物理核/大Cache，缓解内存墙瓶颈2x

6、4x1.6x1.25xCPU utility50%safe usage17%Freqbase vs turbo16%Freqturn down17%preemptALU/Cache30%Health20%burstCPU utility50%Health30%reserved20%burstALU/Cache exclusiveFreq steadyX86Yitian低功耗+定频，减少冗余水位浪费容器容器弹性裸金属VMVMVM神龙虚拟化Hypervisor以CIPU为核心系统架构倚天ECS产品倚天ECS底层架构CIPU倚天710倚天710存储网络网络存储IO加速NVMe ESSD/EEDeRD