03-异构OS2ATC-v1-任玉鑫.pdf

1、从硬件异构性到系统异构性 业界趋势、挑战、实践任玉鑫，华为，openEuler Valuable Professional2背景：异构硬件成为后摩尔时代的主要推动力硬件能力已不再单纯依赖器件数量，而是异构优化集成GPUNPUDPUDDRHBMNVRAMPCIeHCCSCXLsmartNICsmartSSDPIMCPURSIC-V3趋势：系统异构性不可避免，多样性系统长期共存算力内存网络总线存储加速器异构硬件千芯百联异构系统千型百变内核架构用户组件性能模型安全防护开发运维实时可靠金融边缘政企健康HPC互联网泛在应用千行百业4趋势：从被动差异到主动异构领域专用优化应用驱动：LLM OS，HPC O

2、S，Web OS,TEE OS特性驱动：Mobile OS，Embedded OS，real-time OS学术研究创新多样架构:Microkernel,Unikernels,Multikernel,LibOS可编程系统:kernel modules,eBPF,AI-based tuning不同发行版不同编译、配置、运行参数不同内核、库、框架版本存量产品5new OS distributionopen source communityopen innovation platform研究驱动、聚焦创新跨层级垂直整合优化Libc、OpenSSL、Math、QTC、Rust、Java、GO、JSco

3、ntainer、systemd、sysdig、windowingROS、Spark、DPDK、MindSporeDatabase、K8S、vLLM、WebLinux、RTOS、Microkernel、Hypervisor 内核基础库语言系统服务框架中间件openEuler：面向数字基础设施开源操作系统和社区6Linux增强动态加载异构感知服务器异构硬件异构内核异构OS异构集群实践探索：异构OS核心技术与关键成果Rack-scale嵌入式自研探索AI-tuned容器服务安全审计任务调度AI运维7实践：动态链接/加载器创新 绝大部分应用开发部署的基本形态：模块化高、容易维护、避免开源许可污染绝大部

4、分应用开发部署的基本形态：模块化高、容易维护、避免开源许可污染 Ubuntu 上超过上超过99%的应用使用动态库，应用对动态库的依赖越来越多的应用使用动态库，应用对动态库的依赖越来越多July.11 OSDI22厂商提供的动态库数量逐年上升单个应用依赖几十到几百个动态库动态链接/加载器在应用启动时解析和加载应用依赖的动态库8实践：动态链接/加载器创新 性能问题：性能问题：由于不能获得全部的应用和库的信息，动态链接/加载无法使用编译、链接时的高级优化技术，造成动态链接的应用性能达不到最优10%性能下降！性能下降！July.11 OSDI22低效的内存布局重定位增加函数调用开销应用PLTGOT动态

5、库9实践：动态链接/加载器创新创新优化July.11 OSDI22Library ConcatenationRelocation Branch Elimination对20+应用在不同环境下进行测试，性能提升430%将不同动态库中属性相同的段合并，进而充分利用内存大页，减少TLB Miss可达2%30%改写函数调用指令，直接调用函数实际地址，进而避免plt/got的中间跳转10实践：Linux内核实时性增强 实时性保证和执行可预测性在许多领域至关重要，例如自动驾驶、机器人、工业自动化 CPU核间干扰是实时系统面临的关键挑战之一核间干扰是实时系统面临的关键挑战之一在一个在一个CPU核心执行任务会

6、拖慢干扰另一个核心执行任务会拖慢干扰另一个CPU核的无关任务核的无关任务Dec.9 RTSS2411实践：Linux内核实时性增强 不受控、无界限的CPU核间干扰 导致任务无法在规定时间内完成 导致系统可调度性不可验证Dec.9 RTSS24系统LinuxLinuxRTRT-LinuxLinux最差时延104 us48 usLinux内核成为CPU核间干扰的主要源头12实践：Linux内核实时性增强 workqueue 错误地在所有CPU上唤醒调度内核任务 ASID刷新给其他Cpu核带来锁竞争和TLB miss的额外开销Dec.9 RTSS2413实践：Linux内核实时性增强 openEul