释放算力潜能加速 AI 应用构建.pdf

《释放算力潜能加速 AI 应用构建.pdf》由会员分享，可在线阅读，更多相关《释放算力潜能加速 AI 应用构建.pdf（28页珍藏版）》请在三个皮匠报告上搜索。

1、释放算力潜能，加速 AI 应用构建赵庆杰（卢令）Serverless 基础架构团队负责人Serverless为AI创新提速Contents目录01AI 应用的发展趋势以及面临挑战 02Serverless 技术加速 AI 应用的构建03Serverless AI 应用案例AI 应用场景极速增长百花齐鸣的AI 应用市场竞争下，“迭代速度”成为关键因素之一AI 技术概览异构计算GPUCPUNPUFPGA资源调度资源虚拟化分布式调度基础设施：数据存储与高性能网络模型训练AI 计算开发者领域AI 工具算法框架AI Studio算法库AI 在线应用（推理）AI应用PaaS 平台网关鉴权快速部署服务依赖A

2、I 应用面临的挑战AI 应用的构建复杂，且需要多环境部署支持，需要与非 AI 应用集成随着 AI 应用功能逐渐丰富，调用链路长极大影响问题的快速发现 AI 应用组件无法复用，持续重复造轮子，浪费资源成本，如绿网能力，队列等网关通用能力，安全鉴权，限流保护，多协议支持，防护攻击等AI 计算力面临的挑战GPU 资源紧缺且成本高，需要持续保有购买卡型不统一导致算力不统一，进而影响应用层架构随着计算规模的提升，容错能力也越来越重要大数据的读取，以及模型的快速加载，对于底层的技术要求越来越高硬件复杂度经常听到的问题？“GPU 太贵，型号那么多，换代快，怎么架集群”“找不到 GPU机器用”资源管理复杂度调

3、度效率复杂度“机器利用率太低了！那么多机器都闲着”“听说GPU很快，但是我们工程师用起来反而比 CPU 慢”全系统优化复杂度Serverless AI 应用解决方案不同角色，在 AI 场景下的诉求如何高效率低成本落地如何方便快捷部署使用工程相关算法相关接口相关 工程能力比较强，更希望有一个平台可以提升整体的研发效能，降低运维成本；往往和实验室/公司内的设备有强关联，需要有安全保障等；负责 AI 应用平台建设和管理负责 AI 模型开发调试通过 API 等对接口进行工程化封装 算法能力比较强，希望有一个好用的 AI 模型管理平台；希望可以在本进行开发调试、线上进行测试的时候，有一个便捷的环境等；工

4、程能力比较强，更希望有一些项目案例等，可以帮助业务快速的发布和上线；有完整的应用开发、调试、发布流程等；AI 开发者模型相关工程相关算法相关接口相关电商软件开发教育医疗创作函数计算NASAPI GWRDSGreenWebMQARMSModelScopeHugging Face通义千问 App Store其它模型 Plugin旅游行业Serverless 开发中心模型/应用生态函数计算 AI 场景特定能力AI 场景/行业三步上手最佳实践，一键模型托管，上手门槛降低 80%；极致弹性 CPU+GPU 实例赋能 AI 应用降本提效；上手简单，降本提效上手简单，降本提效Model Scope，Hugg

5、ing Face 开源生态联动；LangChain 等 AI 开源框架与阿里云产品高集成；最佳实践，心智强化最佳实践，心智强化拥抱开源，开放生态拥抱开源，开放生态场景化案例库应用全生命周期管理Composer应用多环境管理BaaSFaaS函数计算 MaaS应用流水线10+应用场景，50+应用案例，一键部署，快速体验；覆盖 2W+AI 应用开发者，打造阿里云函数计算 AI 第一心智；场景化 AI 应用Serverless 开发平台 AI 场景函数计算是构建现代化高可用 AI 应用最短路径，是 AI 应用的最佳实践Serverless GPUServerless GPU虚拟化技术虚拟化技术算力强隔

6、离，显存强隔离故障强隔离GPU100%兼容原生应用业务流量Serverless GPUServerless GPU两级资源池两级资源池热资源池：避免 Node 级别 ScaleOut 引起的分钟级别冷启动。资源供给：FC GPU/IaaS GPU两级资源池共同保证 GPU 资源供给。使用成本：FC GPU资源池平台持有，用户只为真实使用付费。Serverless GPU 按请求付费热资源池，实时弹性，平台持有，用户零成本免费额度：函数计算为首次开通服务的用户提供免费试用额度：GPU试用额度：前100万GB*秒GPU资源使用免费。注意：免费额度不包含公网出流量。领取后 3 个月有效期。计费项单价