【华南理工大学毕盛】智能嵌入式系统教学及开发实践.pdf

1、毕盛毕盛华南理工大学计算机科学与工程学院计算机科学与工程学院2023年7月19日智能嵌入式系统教学及开发实践智能嵌入式系统教学及开发实践智能系统智能系统智能系统（Intelligence system）是指能产生人类智能行为的计算机系统，其中嵌入式系统是其中的重要载体，整个系统涉及了硬件、软件、计算和通信多方面的技术。计算/算法软件系统硬件系统智能体1计算/算法软件系统硬件系统智能体2通信计算/算法软件系统硬件系统智能体3通信 12:05智能嵌入式系统智能嵌入式系统三维点云显示三维点云显示复原算法复原算法（最优化最优化）场景生成场景生成（深度学习深度学习GANGAN网络网络）特征提取特征提取（

2、模式识别模式识别、深度学习深度学习）深度强化学习深度强化学习物体识别物体识别目标检测目标检测语义分割语义分割智能控制智能控制嵌入式系统软件嵌入式系统软件微控制微控制器器微处理微处理器器可编可编程芯程芯片片加速加速核核裸机裸机 开发开发操作操作系统系统计算计算框架框架软件软件框架框架环境感知和认知环境感知和认知场景重构场景重构智能传感器系统智能传感器系统智能驱动系统智能驱动系统运动规划运动规划智能控制智能控制 嵌入式系统硬件嵌入式系统硬件12:05智能嵌入式硬件系统智能嵌入式硬件系统ARMRISC-V传统芯片内核传统芯片内核 神经网络芯片内核神经网络芯片内核IBM IBM TrueNorthTr

3、ueNorthIntelIntelLoihiLoihi浙江大学浙江大学DARWINDARWIN清华大学清华大学TianjicTianjic 逻辑处理逻辑处理+芯片内核芯片内核运算加速单元运算加速单元SIMDSIMD可以灵活处理复杂的逻辑运算可以灵活处理复杂的逻辑运算和多种数据类型的混合计算和多种数据类型的混合计算Volta Volta GPUGPUDaVinciDaVinciDLADLA计算加速计算加速DSPDSPTPUTPUDPUDPU 大量的运算单元大量的运算单元(ALU)(ALU)擅长大规模并发计算擅长大规模并发计算多核加速GPU加速NPU加速XPU加速智能嵌入式软件系统智能嵌入式软件系

4、统12:06OpenCL：由 Khronos Group维护的开放标准，是一个适用于由CPU、GPU、DSP、FPGA等硬件加速器组成的异构计算平台的变成框架，包括计算设备编程语言（基于C/C+），以及控制这些计算设备执行的API。AMD、Nvidia、Intel等厂家的主流GPU都提供了OpenCL实现。SYCL：基于C+17的高级单源码异构计算专用语言。相比于OpenCL设备端核函数需要使用单独的语言进行独立开发，SYCL利用C+特性实现单一语言单一源码完成主机端、设备端开发的统一，开发更为简单高效。SYCL早期基于OpenCL和SPIR实现，新版本对后端进行抽象，以支持除了这两种以外的异

5、构计算平台。OpenMP：共享内存并行计算框架（例如多核、多CPU）。CUDA：显卡厂商NVIDIA推出的运算平台，支持其GPU芯片的计算库。12:06智能嵌入式计算系统智能嵌入式计算系统边缘计算算法设计及实现边缘计算算法设计及实现推理框架推理框架12:06智能嵌入式通信系统智能嵌入式通信系统物联网技术与人工智能相融合，最终追求的是形成一个智能化生态体系，从而实现不同智能终端设备之间、不同系统平台之间、不同应用场景之间的互融互通，万物互融。应用层协议MQTTCoAPDDSXMPP网络层、传输协议IPv4IPv6TCP6L0WPANRPLFTP 物理层、数据链路层协议设备层摄像头激光姿态模块RF

6、ID标签温湿度模块 序列化格式XMLJSONPB自编格式 底层嵌入式系统底层嵌入式系统9轴融合轴融合:陀螺仪陀螺仪+加速度加速度+电子罗盘四元数电子罗盘四元数机器人小车控制机器人小车控制激光智能传感器系统激光智能传感器系统光学三角激光测距脉冲式TOF相位式TOFTOF传感器传感器单线激光多线激光扫扫描描匹匹配配方方法法卡尔曼滤波粒子滤波迭代最近点（ICP）正态分布变换（NDT）Hector方法Cartographer方法概率栅格方法视觉智能传感器系统视觉智能传感器系统摄像头摄像头USB接口MIPI接口V4L2OpenCvROS图像处理平滑滤波边缘提取锐化滤波放大缩小滤镜视频处理视频H264硬件