赵庆杰-释放算力潜能加速应用构建Serverless为AI创新提速.pdf

《赵庆杰-释放算力潜能加速应用构建Serverless为AI创新提速.pdf》由会员分享，可在线阅读，更多相关《赵庆杰-释放算力潜能加速应用构建Serverless为AI创新提速.pdf（28页珍藏版）》请在三个皮匠报告上搜索。

1、释放算力潜能加速应用构建Serverless 为 AI 创新提速赵庆杰 阿里云Serverless 基础架构团队负责人2023年12月1日目录01AI 应用的发展趋势以及面临挑战 02Serverless 技术加速 AI 应用的构建03Serverless AI 应用案例AI 应用场景极速增长百花齐鸣的AI 应用市场竞争下，“迭代速度”成为关键因素之一异构计算GPUCPUNPUFPGA资源调度资源虚拟化分布式调度基础设施：数据存储与高性能网络模型训练AI 计算开发者领域AI 工具算法框架AI Studio算法库AI 在线应用（推理）AI应用PaaS 平台网关鉴权快速部署服务依赖AI 应用面临的

2、挑战AI 应用的构建复杂，且需要多环境部署支持，需要与非 AI 应用集成随着 AI 应用功能逐渐丰富，调用链路长极大影响问题的快速发现 AI 应用组件无法复用，持续重复造轮子，浪费资源成本，如绿网能力，队列等网关通用能力，安全鉴权，限流保护，多协议支持，防护攻击等AI 计算力面临的挑战GPU 资源紧缺且成本高，需要持续保有购买卡型不统一导致算力不统一，进而影响应用层架构随着计算规模的提升，容错能力也越来越重要大数据的读取，以及模型的快速加载，对于底层的技术要求越来越高AI 技术概览GPU 太贵，型号那么多，换代快，怎么架集群找不到 GPU机器用机器利用率太低了！那么多机器都闲着听说GPU很快，

3、但是我们工程师用起来反而比 CPU 慢硬件复杂度资源管理复杂度全系统优化复杂度调度效率复杂度经常听到的问题？Serverless AI 应用解决方案如何高效率低成本落地如何方便快捷部署使用工程相关算法相关接口相关 工程能力比较强，更希望有一个平台可以提升整体的研发效能，降低运维成本；往往和实验室/公司内的设备有强关联，需要有安全保障等；负责 AI 应用平台建设和管理负责 AI 模型开发调试通过 API 等对接口进行工程化封装 算法能力比较强，希望有一个好用的 AI 模型管理平台；希望可以在本进行开发调试、线上进行测试的时候，有一个便捷的环境等；工程能力比较强，更希望有一些项目案例等，可以帮助业

4、务快速的发布和上线；有完整的应用开发、调试、发布流程等；AI 开发者模型相关工程相关算法相关接口相关不同角色，在 AI 场景下的诉求函数计算提供构建现代化高可用 AI 应用的简化路径，是 AI 应用的最佳实践Serverless 开发平台 AI 场景三步上手最佳实践，一键模型托管，上手门槛降低 80%；快速弹性 CPU+GPU 实例赋能 AI 应用降本提效；上手简单，降本提效Model Scope，Hugging Face 开源生态联动；LangChain 等 AI 开源框架与阿里云产品高集成；最佳实践，心智强化拥抱开源，开放生态10+应用场景，50+应用案例，一键部署，快速体验；覆盖 2W+

5、AI 应用开发者，打造阿里云函数计算 AI 第一心智；电商软件开发教育医疗创作函数计算NASAPI GWRDSGreenWebMQARMSModelScopeHugging Face通义千问 App Store其它模型 Plugin旅游行业Serverless 开发中心模型/应用生态函数计算 AI 场景特定能力AI 场景/行业场景化案例库应用全生命周期管理Composer应用多环境管理BaaSFaaS函数计算 MaaS应用流水线场景化 AI 应用数据来源于阿里云业务数据Serverless GPU 按请求付费Serverless GPU虚拟化技术算力强隔离，显存强隔离故障强隔离GPU兼容原生应

6、用业务流量Serverless GPU两级资源池热资源池：避免 Node 级别 ScaleOut 引起的分钟级别冷启动。资源供给：FC GPU/IaaS GPU两级资源池共同保证 GPU 资源供给。使用成本：FC GPU资源池平台持有，用户只为真实使用付费。热资源池，实时弹性，平台持有，用户低成本Serverless GPU 按请求付费免费额度：函数计算为首次开通服务的用户提供免费试用额度：GPU试用额度：前100万GB*秒GPU资源使用免费。注意：免费额度不包含公网出流量。领取后 3 个月有效期。计费项单价函数调用次数0.002元/万次GPU 使用量0.00005元/GB*秒GB 级镜像实例