毕盛—智能嵌入式系统开发与实践.pdf

1、毕盛毕盛华南理工大学华南理工大学计算机科学与工程学院计算机科学与工程学院2025年年4月月15日日09:27智能嵌入式系统开发与实践智能嵌入式系统开发与实践国际嵌入式系统创新论坛国际嵌入式系统创新论坛智能嵌入式系统应用智能嵌入式系统应用三维点云显示三维点云显示复原算法复原算法（最优化最优化）场景生成场景生成（深度学习深度学习GANGAN网络网络）特征提取特征提取（模式识别模式识别、深度学习深度学习）深度强化学习深度强化学习物体识别物体识别目标检测目标检测语义分割语义分割智能控制智能控制嵌入式系统软件嵌入式系统软件微控制微控制器器微处理微处理器器可编可编程芯程芯片片加速加速核核裸机裸机 开发开发

2、操作操作系统系统计算计算框架框架软件软件框架框架环境感知和认知环境感知和认知场景重构场景重构智能传感器系统智能传感器系统智能驱动系统智能驱动系统运动规划运动规划智能控制智能控制 嵌入式系统硬件嵌入式系统硬件计算/算法软件系统硬件系统智能体1计算/算法软件系统硬件系统智能体2通信计算/算法软件系统硬件系统智能体3通信 硬件、软件、计算和通信智能嵌入式系统硬件芯片智能嵌入式系统硬件芯片嵌入式微处理器嵌入式微控制器ARMRISC-V传统芯片内核传统芯片内核 神经网络芯片内核神经网络芯片内核IBM IBM TrueNorthTrueNorthIntelIntelLoihiLoihi浙江大学浙江大学DA

3、RWINDARWIN清华大学清华大学TianjicTianjic 逻辑处理逻辑处理+芯片内核芯片内核运算加速单元运算加速单元SIMDSIMD可以灵活处理复杂的逻辑运算可以灵活处理复杂的逻辑运算和多种数据类型的混合计算和多种数据类型的混合计算Volta Volta GPUGPUDaVinciDaVinciDLADLA计算加速计算加速DSPDSPTPUTPUXPUXPU 大量的运算单元大量的运算单元(ALU)(ALU)擅长大规模并发计算擅长大规模并发计算脉冲神经脉冲神经网络网络(SNN)(SNN)09:27大语言模型（大语言模型（LLM）与嵌入式系统部署）与嵌入式系统部署2.大语言模型的主要架构大

4、语言模型的主要架构传统传统 NLP 模型模型功能专一、语料小、表现力有限。大语言模型大语言模型多任务泛化能力强，语料量大，对话、写作、推理等。LLM 最成功且最广泛使用的架构Transformer1.为什么要使用大语言模型？为什么要使用大语言模型？编码器编码器解码器解码器中间表示中间表示输入输出Transformer架构架构文字，语音，图像，视频数据通用的框架Attention注意力机制模型3.大语言模型部署在嵌入式平台优势大语言模型部署在嵌入式平台优势更强的语义理解与推理能力更强的语义理解与推理能力普通模型：只能做固定问答（如“今天天气”）。大模型：能理解模糊表达、上下文、多轮对话。本地语音

5、助手、机器人语义控制、智能问答系统。多任务能力多任务能力问答、总结、翻译、编程辅助、多轮对话、情感分析传统模型需要每个任务一个模型，而 LLM 可以一“模”多用。降低系统部署复杂度，节省设备空间和功耗预算。更灵活的定制能力更灵活的定制能力使用本地 LLM 微调做行业定制工业、家居、医疗等特定领域提高准确性和业务适配度形成“专属智能助手”隐私保护和离线部署09:27Qwen-1.8B 模型中的“1.8B”指的是模型中包含的参数数量（Parameters）为 18 亿（1.8 Billion）。在大语言模型中，参数是模型学习到的权重，用来决定输入信息如何转换成输出信息。参数越多，模型通常能：表现更

6、强的语言理解能力支持更复杂的推理任务更准确地生成自然语言内容。模型选择模型优化硬件环境配置应用集成模型部署确定适合嵌入式部署的模型从 Hugging Face 等网站获取预训练模型DeepSeek1.5bQwen-1.8BTinyLLaMA（1.1B）LLaMA2-7B（需要量化）嵌入式设备资源受限，大模型需要搜身轻量级模型替代量化剪枝蒸馏结构图优化面向硬件的推理引擎 昇腾310:CANN,MindStudio,ATCRK3588:RKLLM Toolkit,RKNN ToolchainNvidia Jetson:TensorRT,ONNX Runtime,PTX 将优化后的模型（如.om和.