当前位置:首页 > 报告详情

eetop.cn_T9 - Generative AI on Edge Devices Models, Hardware and Systems.pdf

上传人: 张** 编号:620852 2025-03-31 56页 1.45MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要介绍了生成式人工智能(Generative AI)在边缘设备上的应用,包括模型、硬件和系统。主要内容包括: 1. 生成式人工智能与判别式模型的区别,生成式模型能够学习输入数据的分布并生成新的数据。 2. 介绍了生成式人工智能的模型,包括基于Transformer的大型语言模型(LLM)、基于Diffusion的大型视觉模型(LVM)以及大型多模态模型(LMM)。 3. 分析了在边缘设备上运行LLM的性能瓶颈,包括内存带宽限制和模型大小限制。 4. 提出了多种优化方法,包括量化、动态稀疏性、混合专家(MoE)、DRAM缓存和DRAM处理内存(PIM),以提高LLM在边缘设备上的性能。 5. 引用了多篇相关论文,包括LLaMA、Stable Diffusion、LoRA、GPTVQ等,展示了生成式人工智能在边缘设备上的应用前景。 总体来说,本文深入探讨了生成式人工智能在边缘设备上的挑战和优化方法,为未来在边缘设备上实现高性能生成式人工智能提供了有价值的参考。
如何在边缘设备上部署生成式AI模型? 生成式AI模型在边缘设备上面临哪些挑战? 如何优化生成式AI模型在边缘设备上的性能?
客服
商务合作
小程序
服务号
折叠