4-三目智能 CMS光轴偏移视野与AI图像识别技术讨论.pdf

1、CMSCMS光轴偏移视野与光轴偏移视野与AIAI图像识别技术讨论图像识别技术讨论郭志友郭志友 研究院院长，教授研究院院长，教授/博导博导2024年4月18日1佛山市三智能电子有限公司目录CONTENTS一、电子后视镜的图像采集技术分析二、采集图像畸变矫正及延时处理三、CMS光轴偏移与视野设计四、CMS的AI图像识别技术讨论五、CMS 图像处理（ISP）技术及其应用2TFT显示屏一、电子后视镜CMS的图像采集技术分析光轴偏移摄像头MIPILVDS3一、电子后视镜CMS的图像采集技术分析4CMOS图像传感器内部结构，包括像素阵列、增益放 大电路、数模转换单元、行列选择单元、时序控制单元、信号处理单

2、元和外部接口单元这些基础功能模块组成。像素阵列是光敏元件，在CMOS图像传感器中起到把外界照进来的光信号转换成电信号的作用，即光电转换。控制行选择模块，将选中的行像素单元内的图像电信号通过所在列信号总线传输至增益放大电路CMOS Sensor图像传感器一、电子后视镜CMS的图像采集技术分析5摄像头 芯片采用的都是基于 MIPI CSI-2 协议的接口MIPI 协议是一个非常优秀和标准化的协议，MIPI CSI-2 系列协议用于图像 设备与中央处理器的通信，实现的CSI-2 协议主要用于摄像头芯片与平台处理器之间的通信。MIPI 的接口总共涉及六个方面：（1）多媒体；（2）物理层；（3）系统调试

3、与软件集成；（4）芯 片到芯片或是处理器间通信；（5）设备控制；（6）数据管理参考文献：石珞家，MIPI_D-PHY和MI.速视频图像传输接口芯片设计D，兰州大学，2023年摄像头芯片MIPI CSI-2 协议的接口DDR4 SDRAM（Double Date Rate Synchronous Dynamic Random Access Memory）第四代双倍速率同步动态随机存储器，其中，双倍速率是指 DDR3 SDRAM可以经由时钟的上升沿和下降沿同时接收与发送数据，使得在 相同的时钟周期之间获得较高的速率。DDR3 SDRAM的内部分为Bank（体）、Row（行）、Column（列）三种

4、结 构，每个芯片内部由很多小内存单元组成，其中，任意内存元素都通过行地址线 和列地址线连接起来，形成存储阵列结构。通过选择行地址和列地址就可 以找到该内存单元的位置，从而进行存储和读取操作。一定数量的内存单元组合在一起构成一个存储体(Bank)，每个DDR3 SDRAM基本由八个Bank组 成。寻址时需要先选定Bank地址，然后再选择行列地址29，便能够正确找到需要的内存单元。DDR3 SDRAM的工作方式非常复杂，需要按照固定的步骤执行一系列的 操作，操作过程中通常需要经过一定的延迟时间，延迟时间是非常重要的时序参数，如果想要DDR3 SDRAM正常工作，就必须严格遵守这些时序参数。同时，这

5、些时序参数的长短也会直接影响内存性能的好坏。6一、电子后视镜CMS的图像采集技术分析DDR4 SDRAM 存储器读取时间，影响图像处理（ISP）毕然，基于DDR3的CMOS高速集系统的FPGA设计与实现D，哈尔滨理工大学，2017年二、采集图像畸变矫正及延时处理OpenCV成熟图像畸变矫正程序：MATLAB做摄像机标定,并通过open CV进行校正7二、采集图像畸变矫正及延时处理性能参数有效像素1920（H）1536（V）图像尺寸对角10.36mm（1/1.55型）晶胞尺寸3.0（H）3.0m（V）帧率60 fps感光度2280mV动态范围120dB输出接口MIPI CSI-2 串行输出封装形

6、式124 pin Plastic BGA封装尺寸15.35 11.68mm8GB+15084-2022机动车辆 间接视野装置 性能和安装要求ISO16505，对于CMS的光学设计给出了说明：“附件C.4.3 不对称或不规则设计案例。上述所有测量程序、注释和相关说明都上述所有测量程序、注释和相关说明都考虑了光学对称设计考虑了光学对称设计。但在实际应用中，也有可能将一些有意的不对称应用到也有可能将一些有意的不对称应用到CMS设计设计。”对应法规的“不对称光学技术”光学透镜与摄像头