双目摄像头的难点是什么?
双目系统的一个困难之处在于它需要处理大量的计算,对计算单元的性能要求非常高。这使得双目系统的产品化和小型化变得非常困难。因此,将双目计算问题解决在芯片或FPGA上的难度较大。在国际上,大多数使用双目技术的研究机构或厂商都倾向于使用服务器来进行图像处理和计算。也有一些机构只是将算法简化后,使用FPGA进行处理。
其次,双目摄像头在ISP性能方面表现出较高水平。在双摄像头算法中,ISP发挥着至关重要的作用。ISP主要负责对前端图像传感器输出的信号进行后期处理,包括线性校正、去噪、修复坏点、内插、白平衡、自动曝光控制等多种功能。它的作用在于依托ISP技术,在不同光学条件下还原场景的各个细节,从而极大提升了摄像机成像质量。
为了获得出色的拍照效果,需要使用优秀的拍照算法和配套的ISP。拍照算法与ISP相互依赖,缺一不可。而双摄像头对ISP性能要求更高。为了能够同时处理左右摄像头的信号,单一的ISP已经不能满足双摄像头的需求。因此需要采用双路ISP来实现这一功能。
以增强暗光为例,彩色和黑白图像将分别进入各自的ISP通道和校准通道。随后,两幅图像将被匹配,通过提取出两个图像相同的部分并消除只有一个摄像头拍摄到的部分来进行。在通过遮盖、检测、补偿等算法处理后,两幅图像将被融合以增强颜色。最终,暗光的效果得以增强。
随着双摄像头算法的不断进步,搭载双摄像头的视频监控系统也将在更广泛的环境中发挥更重要的作用。