《汽车智能传感器技术与应用项目七项目实施2：毫米波雷达与视觉传感器的标定融合（课件）》由会员分享，可在线阅读，更多相关《汽车智能传感器技术与应用项目七项目实施2：毫米波雷达与视觉传感器的标定融合（课件）（34页珍藏版）》请在金锄头文库上搜索。
1、klicken sie,um die formate des gliederungstextes zu bearbeiten,zweite gliederungsebene,dritte gliederungsebene,vierte gliederungsebene,fnfte gliederungsebene,sechste gliederungsebene,siebente gliederungsebene,achte gliederungsebene,neunte gliederungsebene,毫米波雷达与视觉传感器的标定融合,毫米波雷达与视觉传感器的标定融合,智能汽车传感器应用技
2、术,思考讨论,一、课程导入,在智能驾驶技术中，单一的传感器是不能够解决所有问题的，那会有哪些解决方法呢？,课程导入,毫米波雷达与视觉传感器标定融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,2.1,视觉传感器,二、毫米波雷达与视觉传感器标定融合的意义,视觉传感器检测辨识精度受光线、天气等因素影响较大，尤其是在晚上以及雨雾天气的时候，视觉传感器检测识别精度降低，稳定性降低，而检测纵向距离范围比较近，容易造成意外事故。,课程导入,毫米波雷达与视觉传感器标定融合的
3、方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,2.1,毫米波雷达,二、毫米波雷达与视觉传感器标定融合的意义,毫米波雷达具有探测距离远、响应速度快、目标跟踪能力和识别能力好、抗干扰能力强、可全天时全天候工作、尺寸小、重量轻等优点，受光照和天气的因素影响比较小，稳定性比较高，并且测距精度也比较高，距离也比较远，但是目前毫米波雷达分辨比较低，对金属比较敏感，进而识别性能比较差，并且不能够识别目标的特征信息。,课程导入,毫米波雷达与视觉传感器标定融合的方式,毫米波雷达和
4、视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,二、毫米波雷达与视觉传感器标定融合的意义,课程导入,毫米波雷达与视觉传感器标定融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,所以单一的传感器是不能够解决所有问题的，毫米波雷达与视觉传感器的融合也必然是一种趋势。,三、标定的定义,传感器标定是指通过软件工具等手段获得传感器的内部参数以及传感器之间的旋
5、转、平移关系的外部参数。,标定又分为内参标定和外参标定。,课程导入,毫米波雷达与视觉传感器标定融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,四、毫米波雷达与视觉传感器的联合标定,建立精确的毫米波雷达坐标系、三维世界坐标系、视觉传感器坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现毫米波和视觉融合的关键。毫米波雷达与视觉传感器在空间的融合就是将不同传感器坐标系的测量值转换到同一个坐标系中。,传感器之间的标定问题，就是要将毫米波检测的目标转换到图像上。
6、具体分为以下两个步骤。,毫米波雷达坐标系,世界坐标系,相机坐标系,课程导入,毫米波雷达与视觉传感器标定融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,四、毫米波雷达与视觉传感器的联合标定,坐标转换以视觉传感器光心为世界坐标系原点，视觉传感器镜头垂直于地面安装，毫米波雷达方向与相视觉传感器方向一致，且毫米波雷达在,x,轴、,z,轴的坐标与视觉传感器光心一致。坐标轴方向与如图,7.37,所示。,由于毫米波雷达只能获得世界坐标系中,x,轴与,z,轴的坐标，可以手动
7、测量,y,轴坐标,_,，其中毫米波雷达输出的,x,轴坐标,与,y,轴坐标,分别对应世界坐标系的,x,轴与,z,轴坐标，所以物体在世界坐标系的齐次坐标为：,4.1,将毫米波雷达坐标系的坐标转换到世界坐标系,世界坐标系,课程导入,毫米波雷达与视觉传感器标定融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,四、毫米波雷达与视觉传感器的联合标定,以视觉传感器光心为世界坐标系原点，将物体在世界坐标系的齐次坐标,乘以外参矩阵,e,即为物体在视觉传感器坐标系的齐次坐标，由于
8、视觉传感器的安装位置已事先调好，视觉传感器的偏移量较小，外参矩阵,e,设置为单位矩阵，物体在视觉传感器坐标系的齐次坐标为：,。,4.2,将世界坐标系的坐标转换到视觉传感器坐标系,相机坐标系,课程导入,毫米波雷达与视觉传感器标定融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,四、毫米波雷达与视觉传感器的联合标定,根据针孔成像原理，已知镜头焦距为,f,，物体在图像坐标系的齐次坐标,与视觉传感器坐标系齐次坐标的关系为：,由于主点可能不在图像坐标系原点，若主点在图像
9、坐标系中的坐标为主点在图像坐标系的坐标为,。,此外，考虑到单个像素的长和宽,dx,，,dy,，得到图像坐标与像素坐标,的关系：,4.3,相机坐标系,-,图像坐标系,-,像素坐标系,课程导入,毫米波雷达与视觉传感器标定融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,四、毫米波雷达与视觉传感器的联合标定,视觉传感器内参矩阵为,：,因此，世界坐标系与像素坐标系关系为,：,4.3,相机坐标系,-,图像坐标系,-,像素坐标系,课程导入,毫米波雷达与视觉传感器标定融合的
10、方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,五、毫米波雷达与视觉传感器融合的方式,要实现视觉传感器与毫米波雷达的精确融合，需要满足两个条件：空间上同步（联合标定解决），时间上同步（时间戳解决），技术实现上的主要难点在于摄像头和雷达观测值的匹配、数据融合、多目标场景下有效目标库的维护等，还需要考虑容错性、灵活性、可拓展性、可靠性、安装等多方面的因素。,视觉传感器与毫米波雷达的融合方式主要有三种：原始数据级融合、特征级别融合、目标级融合。,5.1,融合方式分类,数
11、据级,融合,特征级,融合,目标级,融合,课程导入,毫米波雷达与视觉传感器融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,五、毫米波雷达与视觉传感器融合的方式,原始数据级融合（信号级）就是雷达点云与图像像素的匹配。将雷达的点云数据坐标投影到图像像素上，与图像像素联合标定匹配。,优点：信号级融合数据损失最小，可靠性最高。,缺点：运算量大，雷达分辨率较低，点云数量极少，且噪声较大，很难与图像匹配。,5.2,原始数据级融合（信号级）,数据级,融合,特征级,融合,目标
12、级,融合,课程导入,毫米波雷达与视觉传感器融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,特征级融合（图像级）主要是雷达辅助图像，将雷达的点目标投影到图像上，围绕该点，生成一个矩阵的感兴趣区域，然后只对该区域内进行搜索，搜索到以后跟雷达点目标进行匹配。以视觉为主体，将雷达输出的信息进行图像特征转化，然后与视觉系统的图像输出进行融合。,5.3,特征级融合（图像级）,数据级,融合,特征级,融合,目标级,融合,五、毫米波雷达与视觉传感器融合的方式,课程导入,毫米波
13、雷达与视觉传感器融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,优点：可以迅速地排除大量不会有车辆的区域，极大地提高识别速度。可以迅速排除掉雷达探测到的非车辆目标，增强结果的可靠性。,缺点：这个方法实现起来有难度。理想情况下雷达点出现在车辆中间。因为雷达提供的目标横向距离不准确，再加上摄像头标定的误差，导致雷达的投影点对车的偏离可能比较严重。我们只能把感兴趣区域设置的比较大。感兴趣区域过大后导致里面含有不止一辆车，这个时候目标就会被重复探测，这会造成目标匹配
14、上的混乱。在交通拥挤的时候，容易出现这种情况。,5.3,特征级融合（图像级）,数据级,融合,特征级,融合,目标级,融合,五、毫米波雷达与视觉传感器融合的方式,课程导入,毫米波雷达与视觉传感器融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,主要是根据图像检测的目标结果与雷达探测的目标结果进行融合。,主要的缺点是单目视觉传感器识别的纵向距离不准确，在障碍物比较多的情况下，很难匹配准确。还有可能出现雷达识别到了，单目相视觉传感器却没有识别到的情况。,5.4,目标级
15、融合（图像级）,数据级,融合,特征级,融合,目标级,融合,五、毫米波雷达与视觉传感器融合的方式,课程导入,毫米波雷达与视觉传感器融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,实现相机与毫米波雷达的精确融合，需要满足两个条件：空间上同步（联合标定解决），时间上同步（时间戳解决）。,首先就要解决的是传感器之间的时间、空间同步问题。,5.5,融合的关键点,数据级,融合,特征级,融合,目标级,融合,五、毫米波雷达与视觉传感器融合的方式,课程导入,毫米波雷达与视觉传
16、感器融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,六、毫米波雷达与视觉传感器标定融合的准备工作,包括智能网联汽车传感与感知实训系统应用实训台，简称应用实训台，鱼眼摄像头、易来达毫米波雷达。,6.1,设备的准备,课程导入,毫米波雷达与视觉传感器融合的方式,毫米波雷达和视觉传感器标定融合的准备工作,毫米波雷达与视觉传感器标定融合的意义,标定的定义,毫米波雷达与视觉传感器的联合标定,毫米波雷达和视觉传感器标定融合的实现步骤,总结,六、毫米波雷达与视觉传感器标定融合的准备工作,在进行毫米波雷达与视觉传感器的标定融合之前，需要将视觉传感器和毫米波雷达安装到应用实训台上，具体操作可参考项目,2.3,拆装与调试视觉传感器，项目,4.3,拆装与调试毫米波雷达。,注意事项：,安装摄像头时，,1,号摄像头需要调整到与地面平行；,安装毫米波雷达的时候，需要注意毫米波雷达的安装方向。,6.2,设备的安装,课程导入,毫米波雷达与视觉传感器融合的方式,毫米波雷达和视觉传感器标