阿里云-赵庆杰-Serverless 技术加速 AI 应用构建.pdf

1、ServerlessServerless 技术加速技术加速 AI AI 应用构建应用构建赵庆杰（卢令）Serverless 基础架构团队负责人2023年12月15日赵庆杰阿里云 Serverless 产品基础架构团队负责人“目前就职于阿里云云原生 Serverless 团队，专注于 Serverless、PaaS，分布式系统架构等方向，致力于打造新一代的 Serverless 技术平台，把平台技术做到更加普惠。曾就职于百度，负责内部最大的 PaaS 平台，承接了 80%的在线业务，在 PaaS 方向，后端分布式系统架构等领域有丰富的经验”讲师简介目录0101AI 应用的发展趋势以及面临挑战 0

2、202Serverless 技术加速 AI 应用的构建0303Serverless AI 成果展示AI应用稳步增长百花齐鸣的AI 应用市场竞争下，“迭代速度”成为关键因素之一异构计算异构计算GPUCPUNPUFPGA资源调度资源调度资源虚拟化分布式调度基础设施：数据存储与高性能网络模型训练模型训练AIAI 计算开发者领域计算开发者领域AI 工具算法框架AI Studio算法库AIAI 在线应用（推理）在线应用（推理）AI应用PaaS 平台网关鉴权快速部署服务依赖AI 应用面临的挑战AI 应用的构建复杂，且需要多环境部署支持，需要与非 AI 应用集成随着 AI 应用功能逐渐丰富，调用链路长极大影

3、响问题的快速发现 AI 应用组件无法复用，持续重复造轮子，浪费资源成本，如绿网能力，队列等网关通用能力，安全鉴权，限流保护，多协议支持，防护攻击等AI 计算力面临的挑战GPU 资源紧缺且成本高，需要持续保有购买卡型不统一导致算力不统一，进而影响应用层架构随着计算规模的提升，容错能力也越来越重要大数据的读取，以及模型的快速加载，对于底层的技术要求越来越高AI 技术概览GPU 太贵，型号那么多，换代快，怎么架集群找不到 GPU机器用机器利用率太低了！那么多机器都闲着听说GPU很快，但是我们工程师用起来反而比 CPU 慢硬件硬件复杂度复杂度资源管理资源管理复杂度复杂度全系统全系统优化复杂度优化复杂度

4、调度效率调度效率复杂度复杂度经常听到的问题？Serverless Serverless 解决方案解决方案如何高效率低成本落地如何方便快捷部署使用工程相关工程相关算法相关算法相关接口相关接口相关 工程能力比较强，更希望有一个平台可以提升整体的研发效能，降低运维成本；往往和实验室/公司内的设备有强关联，需要有安全保障等；负责负责 AIAI 应用平台建设和管理应用平台建设和管理负责负责 AIAI 模型开发调试模型开发调试通过通过 APIAPI 等对接口进行工程化封装等对接口进行工程化封装 算法能力比较强，希望有一个好用的 AI 模型管理平台；希望可以在本进行开发调试、线上进行测试的时候，有一个便捷的

5、环境等；工程能力比较强，更希望有一些项目案例等，可以帮助业务快速的发布和上线；有完整的应用开发、调试、发布流程等；AI 开发者模型相关工程相关算法相关接口相关不同角色，在 AI 场景下的诉求函数计算提供构建现代化高可用 AI 应用的简化路径，是 AI 应用的最佳实践Serverless 开发平台 AI 场景三步上手最佳实践，一键模型托管，上手门槛降低 80%；快速弹性 CPU+GPU 实例赋能 AI 应用降本提效；上手简单，降本提效上手简单，降本提效Model Scope，Hugging Face 开源生态联动；LangChain 等 AI 开源框架与阿里云产品高集成；最佳实践，心智强化最佳实

6、践，心智强化拥抱开源，开放生态拥抱开源，开放生态10+应用场景，50+应用案例，一键部署，快速体验；覆盖 2W+AI 应用开发者，打造阿里云函数计算 AI 第一心智；电商软件开发教育医疗创作函数计算NASAPI GWRDSGreenWebMQARMSModelScopeHugging Face通义千问 App Store其它模型 Plugin旅游行业Serverless Serverless 开发中心开发中心模型模型/应用生态应用生态函数计算函数计算 AIAI 场景特定能力场景特定能力AI AI 场景场景/行业行业场景化案例库应用全生命周期管理Composer应用多环境管理BaaSBaaSFa