开放数据中心标准推进委员会：2024年边缘计算AI推理技术场景与挑战报告（37页）.pdf

1、边缘计算 AI 推理技术场景与挑战 ODCC-2024-04001 1 边缘计边缘计算算 AIAI 推理技推理技术术场场景与挑景与挑战战 2024.09 发布 开放数据中心标准推进委员会 编号 ODCC-2024-04001 边缘计算 AI 推理技术场景与挑战 ODCC-2024-04001 I 版权声明版权声明 ODCC（开放数据中心委员会）发布的各项成果，受著作权法保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用 ODCC 成果中的文字或者观点的，应注明来源：“开放数据中心委员会 ODCC”。对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，

2、ODCC 及有关单位将追究其法律责任，感谢各单位的配合与支持。边缘计算 AI 推理技术场景与挑战 ODCC-2024-04001 II 编写组编写组 项目经理：项目经理：陈共龙 深圳市腾讯计算机系统有限公司 工作组长：工作组长：陈炜 深圳市腾讯计算机系统有限公司 贡献专家：贡献专家：李秋香 深圳市腾讯计算机系统有限公司 黄伟 北京百度网讯科技有限公司 黎正琛 北京百度网讯科技有限公司 郭利文 深圳富联富桂精密工业有限公司、张楠 富联精密电子（天津）有限公司 张骏 英特尔 陈羿函 英特尔 任彤 中国信息通信研究院 常金凤 中国信息通信研究院 边缘计算 AI 推理技术场景与挑战 ODCC-2024

3、-04001 III 前前 言言 在当今快速演进的技术时代，人工智能（AI）技术已成为推动工业、医疗和金融等领域革命性变革的核心力量。随着数据量的激增、计算需求的日益复杂化以及 AI 技术向大模型、多模态方向的演进，如何有效地部署 AI 模型以优化性能与成本，成为了企业和技术开发者面临的重大挑战。本文从探讨中心云和边缘计算节点在 AI 推理中的应用场景、优势、局限性出发，进一步深入分析 AI 推理在边缘计算节点产品中部署时遇到的挑战以及未来的发展方向。边缘计算 AI 推理技术场景与挑战 ODCC-2024-04001 IV 目目 录录 版权声明.I 编写组.II 前 言.III 目 录.IV

4、一、AI 推理场景分析.1（一）中心云部署 AI 模型的典型场景分析.1 1.金融风险评估场景.1 2.文生图、文生视频等场景.3 3.中心云部署 AI 模型场景的特点总结.5（二）边缘计算节点部署 AI 模型的典型场景分析.6 1.多模态应用场景.6 2.智能交通与车辆智能.8 3.特点总结.10（三）边缘计算节点与中心云部署 AI 模型场景特点对比.11 1.模型类型.11 2.计算效率.11 3.数据传输.12 4.应用场景.12 5.总结.12 二、边缘 AI 推理的挑战与需求.13（一）算力硬件层面挑战.13 1.有限的算力资源.14 边缘计算 AI 推理技术场景与挑战 ODCC-2

5、024-04001 V 2.算力设备异构.14 3.功耗挑战.14（二）网络架构层面挑战.16 1.突发流量拥塞挑战.16 2.算力弹性组网挑战.17（三）算法层面挑战.19 1.量化的精度损失问题.19 2.模型剪枝的有效性与风险.19 3.微调与在线学习的适应性问题.19 4.跨模态数据处理挑战.20 三、未来技术趋势展望.20（一）可持续算力服务器.21 1.可持续 GenAI 系统架构技术.21 2.典型的可持续算力与液冷服务器.23（二）边缘高性能、低延迟网络技术.25（三）算法层面未来潜在的趋势.27 四、总结.28 五、参考.30 边缘计算 AI 推理技术场景与挑战 ODCC-2

6、024-04001 1 边缘计算边缘计算 AIAI 推理技术场景与挑战推理技术场景与挑战 一、一、AIAI 推理场景分析推理场景分析 （一）（一）中心云部署中心云部署 AIAI 模型的典型场景分析模型的典型场景分析 在当今的数字化时代，人工智能（AI）已经成为推动创新和业务转型的关键动力。将 AI 模型部署在中心云已成为一种成熟的做法，多年来持续发展。以下是一些通过中心云部署 AI 模型的典型场景，这些场景展示了如何利用云计算的优势来推动 AI 技术的进一步发展和应用。1.1.金融风险评估场景金融风险评估场景 金融风险评估场景主要面向多种金融业务，包括银行、互联网金融、保险、证券、基金理财等领