全景可视系统,也又称全景泊车等等,市面已经有产品出现,各家的方案看起来又不一样。
对全景,飞思卡尔freescale、富士通fujitsu拥有比较完整的解决方案,但也有其他公司推出自己的产品,但芯片都基本选用飞思卡尔或富士通的。
从用户角度来说,全景有以下几个分类:
图像是否有拼接? 支持哪些视角功能(广角或俯视)?是否有3D模型?
目前主流是四个摄像头,采用180度以上的广角摄像头,如190度;
也有采用更多摄像头的,如6个。
CCD: 优点是灵敏度高,噪音小,信噪比大。但是生产工艺复杂、成本高、功耗高。
CMOS : 优点是集成度高、功耗低(不到CCD的1/3)、成本低。但是噪音比较大、灵敏度较低、对光源要求高。
在采用CMOS为感光元器件的产品中,通过采用影像光源自动增益补强技术,自动亮度、白平衡控制技术,色饱和度、对比度、边缘增强以及伽马矫正等先进的影像控制技术,完全可以达到与CCD摄像头相媲美的效果.
由于成本原因,车载摄像头普遍选用cmos摄像头传感器。
摄像头的分辨率:一般车道检测的摄像头30万像素就能满足需求。但用于全景的摄像头会采用更高分辨率。
前视摄像头位置,一般在车标附近的位置;左右摄像头一般放在倒车镜附近;后视摄像头会放在车牌上方的位置。四个摄像头的水平位置基本相同。
另外,根据不同的车型,摄像头的安装位置和高度也不同。
全景摄像头的标定一般是指针对外参进行标定,得到摄像头的安装高度、安装方位角度。
而摄像头的内参在出厂时,就能拿到其参数。
在获取摄像头的内外参之后,就可以对四个摄像头的数据进行融合或拼接。
目前,市面上的产品很多都是做到标定后,直接拼接融合就完事了。
一般单纯使用标定后的摄像头进行 全景图像的拼接和融合时,在交合重叠区域,会产生盲点的现象,如经过的物体在这个很小的区域会模糊不清或消失。
这是因为物距的改变,会产生较大的拼接区域误差。
什么是景深现象?
当镜头聚焦于某一物体时,在这一物体前后一定范围内,景物记录的比较清晰,而超出这个范围,物体就显得不清晰了。这个就景深原理。决定景深的因素包括:光圈(进入镜头的光线的粗细)、焦距、物距。
光圈越小,景深越大,拍摄清晰的前后范围越大。而广角镜头的景深是比较大的。景深的位置、范围会随焦距的不同而变化,鱼眼相机需要采用比较大F值,才能获取较大的景深。
图像配准的常见方法及优缺点:
1) 基于区域的方法
a) 像素点的直接的相关性,外加金字塔的多分辨率。 计算量较大,而且对旋转和缩放效果有一定影响。
b)基于频域FFT变换的方法。 在空间频域中寻找相关性,计算快,对小平移、旋转及尺度变换的图像拼接较合适,但对重叠区域较小的情况较差。
2)基于特征的方法
a)经典的方法,如基于轮廓、角点检测算法。harris角点。
b)尺度不变特征的SIFT算法,及其改进算法。配准精度高,但速度慢,且原始算法未公开,版权保护。
c)SURF配准算法。配准精度高,略逊于SIFT,但速度快。
对于鱼眼相机的配准,一般需要:
1)畸变校正。4个相机都是190或180左右的视角的情况,畸变校正后,即使损失一部分边缘图像,仍然会有一部分图像重合。
2)配准。如果有相机内外参的先验知识的情况下,配准,可以采用基于改进的区域配准方法,效果好,且速度快。 基于特征的方法也可以尝试。
3)融合或拼接。直接采用拼接的方式,或采用图像叠加融合的方式,或增强边缘的方式,或用小波等等。
采用配准方式进行拼接和融合的产品,效果会好很多。
由于配准会比较耗费时间,而配准的区域可能又不断变化,所以,配准过程不必对拍摄的每幅图像都进行。
俯视图:每个摄像头都有内外参,所以,其俯视图也可以比较轻松的获取,然后进行拼接,得到车辆周围比较完整的俯视图。
俯视图,对于直立的物体会有很大的形变,看起来不舒服,一种改善的方法就是降低俯视虚拟相机的高度,这样直立物体的形变会减轻,但是对地面直线物体又会产生鱼眼式的形变,这个需要一个折中。
3D模型:其实,就是将几个鱼眼摄像头的坐标系统一转换到一个世界坐标系中,并建立一个碗状的三维虚拟成像面,最后建立三维模型。
富士通fujitsu的方案是比较成熟的。
查了一些资料,没有翻到其详细的算法过程,估计是预先建立一个3D的投射曲面,然后,将整个鱼眼相机拼接的图像投射到这个曲面上。这个过程可以使用查找表,能提高运算速度,简化运算过程。
这个过程需要结合摄像头的景深,内外参数,地面俯视等。
本文中,有些地方是猜测或看的资料不全,请大家指正。
全景可视系统surroundview,布布扣,bubuko.com
原文:http://blog.csdn.net/viewcode/article/details/21456015