1 引言 随着半导体技术的发展，在固体成像技术中，CMOS有源像素传感器具有功耗小、高分辨率、操作简单、片上系统集成方便等优点，使得CMOS应用越来越广泛，逐步替代CCD图像传感器[1-2]。然而在CMOS应用过程中，由于CMOS传感器自身固有的结构特点，形成CMOS传感器的固定模式噪声(Fixed Pattern Noise, FPN)，限制了CMOS图像传感器的应用。所以对CMOS图像传感器固定模式噪声的研究及相关校正技术的开发引起广泛关注。 CMOS传感器FPN主要是指不随积分时间变化、在均匀光照条件下像元与像元之间输出响应的相对不一致性所形成的噪声。FPN主要包括两种类型：(1)由输出放大电路偏置及像元暗电流所形成的偏置FPN(Offset FPN)，此类FPN通过帧间相减法可以有效抑制[3-4]；(2)由输出放大电路增益不一致性引入的增益FPN(Gain FPN)，此类FPN严重影响了图像质量。目前消除增益FPN噪声的方法有很多种：(1)基于神经网络非均匀性校正[5]；(2)基于估计的非线性校正[1]；(3)采用图像处理方法对CMOS图像数据进行低通滤波处理；(4)基于灰度补偿的非均匀性校正等[6]。除了第3种处理方法外，其余校正方法都需要一个复杂的校正系统，在均匀光照条件下，采集CMOS图像，并计算相应的校正系数。此类方法尽管校正效果显著，但是校正系统及算法均复杂，并且在实时性与自适应性方面有很大的限制。 随着CMOS半导体工艺的发展，像元间的FPN最大为1 LSB，1 s积分时间暗电流本底图像最大输出仅仅为0.5 LSB[7]。本文深入分析FPN的形成机制，提出了一种基于暗电流固定模式噪声校正方法：在无快门情况下，基于暗电流本底图像，完成对CMOS图像传感器固定模式噪声校正。与传统方法相比较，此方法具有实时性、自适应性等优点，并且校正算法简单，不需要复杂的校正系统定期对CMOS传感器进行定标校正。所以对此校正方法进行深入研究，具有实际意义。 2 CMOS图像传感器结构及噪声分析 2.1 CMOS图像传感器结构及工作原理 本文以安森美公司的NOIP1SN1300A图像传感器作为研究对象，具有像素内相关双采样(Correlated Double Sampling，CDS)功能。图 1为传感器系统框图。 图1 CMOS图像传感器系统框图 Block diagram of CMOS image sensorFig 1 片外处理器通过SPI (Serial Peripheral interface)总线对传感器进行配置，控制信号(Control Signal)实现对传感器上电复位及积分时间控制。CMOS传感器内部Control & Register模块产生相应时序控制信号，首先根据积分时间控制信号完成光电转换过程，行译码器(Row Decoder)自上而下逐行选通像素矩阵(Pixel Array)，列放大模块(Column Structure)具有多个相互独立模拟放大器，对当前选通的行像素所输出光电压进行放大，以提高动态响应范围。所以CMOS传感器在垂直方向上，同一列像元会共用一个模拟放大器。最后模拟通道(Analog channel)中集成的ADC (Analog to Digital Converter)完成模拟量到数字量转换，通过输出选择器(Output Mux)输出数字图像数据。像素矩阵(Pixel Array)由独立像元按着一定的排列方式排列组成。 传统3T有源像元结构如图 2所示，此像元结构由光电二极管D1、复位晶体管M1、源跟随器M2及选择晶体管M3组成。Cint为源跟随器M2等效寄生输入电容，RESET与SELECT分别为复位控制信号及选择控制信号[8]。 图2 3T有源像元 Structure of 3T active pixel elementFig 2 3T像元控制时序简图如图 3所示，T1时刻复位晶体管M1开启，寄生电容Cint复位充电，T2复位充电结束，此时光电二极管D1两端反向偏置电压为Vrst如式(1)所示： 1 图3 像元控制时序简图 Control timing diagram of pixel elementFig 3 式中，Vth为复位晶体管M1管压降。 T2时刻开始光电转换，光电二极管D1受到光照形成光电流，实现对寄生电容Cint放电，电压VG如公式(2)所示： 2 式中, Ipd及Ileak分别为光电流及漏电流，T为积分时间，C为寄生输入电容Cint容值。设源极跟随器处于饱和状态，并且忽略开关信号SEL的影响，则像元光电响应输出与积分时间关系如式(3)、(4)所示： 3 4 式(4)中，VTN、WSF、LSF为源极跟随器阈值电压，半导体材料有效长度和宽度，IB为偏置电流，uN为迁移率，Cox为单位面积栅极氧化物等效电容。像元输出到模拟读出电路如图 4所示。 图4 模拟读出电路 Analog readout circuitFig 4 模拟读出电路包括CDS功能模块及可编程模拟增益放大器PGA (Programmable Gain Amplifier)：像元复位时刻，开关SHR关闭，复位电压储能电容Cr完成充电，充电完成后开关SHR保持开关状态。像元积分时间结束T3，开关SHS关闭，像元电压储能电容Cs进行充电，充电结束时，该电容两端电压为Vout。经过CDS后，像元输出Voutpixel如式(5)所示： 5 由式(5)可知，CDS功能模块可以有效抑制由于复位电压和开关管等因素所引入的噪声。 Voutpixel经过增益为G的可编程模拟增益放大器，像元输出电压VApixel如式(6)所示： 6 式中，Voffset为放大器偏置电压，以设置放大电路静态工作点，确保电路工作在线性放大区。经ADC转换后，最终量化为10 bit灰度值VNpixel： 7 式中，Vref为ADC转换器参考电压。 2.2 CMOS图像传感器的FPN噪声分析 由式(5)、(6)可知： 8 由式(8)，CMOS传感器FPN噪声主要来源于：(1)CMOS像元中复位电压Vrst以及由于半导体工艺引入的像元偏置VTN与，由式(8)可知，此类FPN通过像元内CDS能够被有效抑制甚至消除[9]；(2)CMOS像元中感光二极管暗电流Ileak形成的本底偏置噪声及读出放大器所形成的偏置噪声Voffset，此类FPN通过帧间相减可以被有效抑制[3-4]；(3) CMOS像元感光元件的光电响应不一致性所形成的FPN，主要表现为光电流Ipd的不一致性。随着半导体工艺发展，同一芯片上集成封装感光元件具有很好的一致性[10-11]，在本文中暂时忽略此类FPN影响；(4)CMOS传感器输出电路中模拟放大电路增益G的不一致性，此类不一致性对CMOS图像的FPN影响较大[10-11]。 3 基于暗电流的固定模式噪声校正 由公式(8)可知，由暗电流所形成像元本底图像： 9 光电二极管反向漏电流，在很小的反向电压变化范围内，漏电流Ileak在温度不变条件下近似恒定。由公式(9)可知：(1)像元本底图像与积分时间T成线性关系；(2)两幅本底图像采集积分时间分别为T1与T2，且T1T2，并进行帧间相减处理，消除由放大器引入的偏置噪声Voffset，则单个像元本底输出变化量为： 10 基于以上分析，提出基于暗电流CMOS固定模式噪声校正方法，具体流程图如图 5所示。 图5 基于暗电流CMOS固定模式噪声校正流程图 CMOS FPN noise correction flow chart based on dark currentFig 5 具体步骤描述如下： (1) 采集积分时间为Tfr，本底图像Ifr作为本底参考图像。 (2) 采集积分时间为T，且TTfr，期望CMOS图像Iout。 (3) 采集积分时间同为T，本底图像为Ifloor。 (4) 本底图像输出变化量δIfloor=Ifr－Ifloor，则第i行，第j列像元校正系数Eij： 11 式中，M，N分别为CMOS传感器输出图像行列尺寸。 (5) 帧减法消除偏置噪声IFPN, 由式(7)、(9)得出： 12 (6) 最终校正后输出图像Ifinalij： 13 为了探究由暗电流所形成的本底图像与积分时间关系，将图像采集系统置于暗室，同时遮挡镜头，以100 ms为起始积分时间，3 000 ms为终止时间，100 ms为步长。每一个积分时间采集10幅本底图片。求出图像灰度均值并通过最小二乘法进行曲线拟合，拟合曲线如图 6。 图6 图像灰度与积分时间拟合曲线 Fitting curve of image gray and integral timeFig 6 由图 6可知，CMOS传感器本底图像输出与积分时间具有较好的线性关系，进一步验证了式(9)的正确性。 对不同积分时间的本底图像进行非均匀性校正处理，计算校正前后方差结果如表 1。1 s积分时间本底图像校正前后对比如图 7所示。 表1 本底图像校正前后对比 Integration time 0.5 s 1 s 1.5 s Before correction average 6.853 1 15.914 9 25.223 3 Before correction variance 5.412 6×10-4 1.23×10-2 4.88×10-2 After correction average 6.851 4 15.912 4 32.869 4 After correction variance 8.124 3×10-6 2.383 7×10-4 3.2×10-3 Comparison between before and after correction of floor imageTable 1 图7 1 s积分时间本底图像校正前后对比图 Comparison between before and after correction for 1 s darkFig 7 4 实验验证及分析 如前所述，本底图像是在没有光照条件下，本实验采用150 W钨灯作为光源，照明积分球产生均匀漫反射光，积分球采用Labsphere公司生产的xth-2000c型号，开口直径为50.8 cm(20 in)。实验系统实物图如图 8所示。 图8 实验系统实物图 Experiment system setupFig 8 分别采集两个积分时间CMOS图像，为了排除RGB三基色光电转化效率的影响，对输出图像的三基色RGB分别求取方差，校正前后对比结果如表 2所示。实验结果表明：(1)本底图像输出与积分时间具有较好的线性关系；(2)对于本底图像FPN进行校正，具有很好的校正效果，图像方差降低1~2个数量级；(3)对均匀光照条件下CMOS图像进行校正，发现校正后图像方差增大2个数量。经过分析，在暗电流固定模式噪声校正方法中，以CMOS各像元之间暗电流Ileak相等为前提条件，校正系数Eij=f(Gij)。但实际应用过程中，像元间暗电流Ileak存在非一致性，实际校正系数Eij为暗电流Ileak与放大器增益G的函数，即Eij=f(Ileakij, Gij)。所以对本底图像校正具有较好效果。但是对于均匀光照CMOS图像，消除偏置FPN图像IFPN为光电流Ipd及放大器增益G的函数，即IFPNij=g(Ipdij, Gij)，校正后图像Ifinalij=g(Ipdij, Gij)×f(Ileakij, Gij)，对于均匀光照条件下进行的暗电流FPN校正，由于每一像元间的光电响应度不一致性所引入的FPN噪声影响显著，导致最终校正前后的图像灰度方差反而增大2个数量级。暗电流方法适用于暗场FPN校正。 表2 均匀光照下校正前后对比结果 Integration time 50 μs 100 μs Primary color R G B R G B Before correction average 97.250 9 114.269 8 116.701 1 212.176 1 249.306 9 254.611 3 Before correction variance 5.863 9 7.664 6 3.262 8 3.791 0 5.733 1 3.359 7 After correction average 98.543 2 116.328 1 118.251 8 214.571 2 252.123 5 256.981 5 After correction variance 188.122 5 123.554 5 146.103 4 136.281 5 99.210 2 135.136 5 Comparison between before and after correction under uniform lighting conditionTable 2 5 结论 本文深入分析CMOS传感器FPN噪声形成机理及影响因素，针对由读出放大电路增益不一致引入的增益FPN，提出了基于暗电流的固定模式噪声校正方法，分别对本底图像及均匀光照图像进行校正处理，并比对校正前后的图像计算灰度方差。结果表明：对本底图像的校正效果明显，校正后图像灰度方差降低，而对均匀光照图像处理，图像灰度方差增大。尽管当前CMOS工艺已达到像元间FPN最大1 LSB，在均匀光照条件下，单个像元光电响应不一致性导致校正后图像方差增大。所以由像元的光电响应不一致所导致的FPN在光照情况下不能忽略，并且有较严的影响。该结果对由暗电流形成的本底图像及固定模式噪声校正方法的深入研究具有一定的参考意义。