一、Sensor的硬件结构

1. 每个像素的结构

每个像素点的最上方有个微透镜,增加透光量。有镜头就有CRA的问题,超出一定角度的光线无法被收集,需要和镜头进行匹配。

sensor对于相机成像的作

像素的结构

2. sensor的纵向结构

光透过电路会发生反射,造成每个像素点之间的干扰。背照式的结构(感光层在电路的上方)不会受到电路的影响。

sensor对于相机成像的作

sensor的纵向结构

3. CFA(color filter array)

每个像素点上覆盖有一种颜色的滤光片,从而去感知每种颜色的亮度。

sensor对于相机成像的作

滤光片CFA

Bayer格式:绿色分量为总像素数的一半,红色蓝色为总像素的四分之一。

3.1 MONO sensor

由于滤光会带来亮度上的损失,有种MONO sensor,没有滤光片的处理,亮度会大大提高(有文章说可以提高四倍),但是这就感知不到颜色了,所以又叫黑白sensor。

3.2 光谱响应曲线

下图是IMX290每个红绿蓝滤光片的光谱响应曲线。

sensor对于相机成像的作

IMX290光谱响应曲线

这是人眼视锥细胞对光谱的响应曲线

sensor对于相机成像的作

人眼视锥细胞对光谱的响应曲线

由于人眼和sensor对光谱的感应曲线不同,同一个物体感知到的颜色不同。因此颜色需要一个转换关系。ISP中的CCM(色彩校正矩阵)就此诞生,利用一个3×3的矩阵,将sensor感知到的RGB颜色,校准成我们看到的RGB颜色。

3.3 红绿灯变色问题

这里穿插一个监控摄像头常遇到的问题,拍红灯的时候,经常会拍成黄灯和白灯,这是为什么呢?

因为红灯的光谱在780~620nm之间,从光谱响应曲线中可以看到,红像素最敏感,然后是绿像素,最后是蓝色像素。

当感光度比较小的时候,红色像素的亮度远远大于绿色和蓝色,肯定是呈现出红色。感光度比较大时,绿色像素也能有很高的亮度,而红色像素早已经饱和了,不在增加,这个时候呈现的颜色就是红色+绿色=黄色。感光度很大的时候,RGB都饱和了,红绿蓝加在一起就是白色。解决方法:

降低曝光换用蓝玻璃IRCUT:在650nm以上的红光,绿像素的感应也很强。换用蓝玻璃IR可以有效减少绿像素的干扰。同时它也可以比较彻底的滤除630nm以上波长的红光,减少过曝的问题。3.4 去马赛克由于sensor每个像素点只能感知到一种颜色,因此想要得到每个像素点的RGB值,需要进行插值,这个过程就是去马赛克(Demosiac)。

sensor对于相机成像的作

demosiac

4. IR-CUT

大家都知道,摄像头有个IR-CUT,那为什么要加IR-CUT filter 呢?IR-CUT是红外滤光片,可以滤除红外光。

从IMX290的光谱敏感性曲线可以看到sensor到了1000的波长还能进行光电转换,而人眼只能到700nm,也就是可以说sensor 的“可见光”和人眼的不一样,而且范围远远比人眼的要大。

那么就会导致什么问题呢,最大的问题就是颜色不一样,因为人眼是感受到的是在可见光在可见光范围内的响应,而sensor感受到的却是在400-1000范围内的响应。因此我们需要加上一个IR-cut 使sensor感受的波段和人眼一样。

还有一个原因:当光线进入镜头,由于折射率不同,可见光和红外光会在靶面的不同位置成像,IR-CUT可以减少红外光产生的伪像。

4.1 拓展:RGB-IR sensor

补充一种sensor,这种sensor不用IR-CUT,除了有RGB三种CFA,还增加了一种专门只通过红外光的CFA。由光谱图我们可以知道,普通sensor中的绿像素不仅仅能感知绿色,还能感知到红外波段的光,实际上是绿色+IR(红外光)。RGB-IR的sensor有个IR像素只感知红外光,两者相减就可以得到可见光的绿色。

sensor对于相机成像的作

RGB-IR format

这样就用数字滤光代替了IR-CUT。我觉得更有应用场景的地方在于,夜间场景下开红外灯,不仅可以感知到红外,还能感知到颜色,是一种待开发的黑光技术。

5. 黑电平

黑电平(Black Level Correction)也就是黑色的最低点,以8bit数据来说,指在经过一定校准的显示装置上,没有一行光亮输出的视频信号电平。定义图像数据为0时对应的信号电平。

黑电平产生的原因:

CMOS传感器采集的信息经过一系列转换生成原始RAW格式数据。以8bit数据为例,单个pixel的有效值是0-255,但是实际AD芯片(模数转换芯片)的精度可能无法将电压值很小的一部分转换出来,因此,sensor厂家一般会在AD的输入之前加上一个固定的偏移量,使输出的pixel value在5(非固定)-255之间,目的是为了让暗部的细节完全保留,当然同时也会损失一些亮部细节,由于对于图像来说,我们的关注度更倾向于暗部区域,ISP后面会有很多增益模块(LSC、AWB、Gamma等),因此亮区的一点点损失是可以接受的。sensor的电路本身会存在暗电流,导致在没有光线照射的时候,像素单位也有一定的输出电压,暗电流这个东西跟曝光时间和gain都有关系,不同的位置也是不一样的。因此在gain增大的时候,电路的增益增大,暗电流也会增强,因此很多ISP会选择在不同gain下减去不同的黑电平的值。ISP pipeline中的黑电平校正(Black Level Correction) :

拍几张不同增益下的全黑图像,算出每个增益下对应的黑电平值。isp会在raw图之后减去这个黑电平值。这一般是ISP的第一步。

6. 坏点

传感器芯片由于工艺的原因产生一些有缺陷的像素点,这些像素点可能比邻近的像素点更暗或者更亮。

ISP pipeline中的的坏点校正:

在判定某像素为坏点后,会根据邻近像素点的值计算得到一个值以替代该坏点。

二、Sensor的曝光

sensor的曝光时间和快门时间是一个概念,都是sensor的感光时间。曝光(快门)时间越长,图像就越亮。

当控制快门时间,仍然达不到期望的亮度,就需要调节sensor的感光度(ISO)。CMOS sensor的感光度就是它的增益。增益是用模拟或数字的方法进行放大,不可避免的会放大噪声,因此拍摄时一般快门优先。

当拍摄高速运动的物体或者手抖的时候,容易产生运动模糊,就需要降低快门时间。

sensor的曝光方式有两种,卷帘曝光和全局曝光。

1. 卷帘曝光(rolling shutter)

sensor曝光是每一行依次开始曝光的,所以图像中每一行的起始曝光时间是不一致的,目前大部分sensor属于这种。下图是卷帘曝光拍摄高速运动的物体的现象。

sensor对于相机成像的作

卷帘曝光失真

这是IMX290的sensor曝光与输出示意图

sensor对于相机成像的作

IMX290 曝光序列

黄色区域是sensor处于感光的时间,蓝色区域是sensor每一行数据的输出时间,红色是曝光开始的时间。XHS是进行每个操作的最小时间单位。

从时间先后来看,一幅图像是从第一行开始曝光,一个XHS之后,再从第二行开始曝光,依次类推。图像的第一行曝光结束后,进行输出,输出数据的时间是一个XHS,依此类推。

卷帘曝光带来的问题

日光灯下有横条纹

日光灯属于频闪灯,跟当地的供电频率有关,如果当地的供电是50Hz的正弦波(国内),日光灯就会以100Hz的频率闪烁。sensor每行的起始曝光时间是不同的,这就导致了每一行曝光时的亮度不同。因此会出现横条纹

解决方法:

控制曝光时间是1/100的整数倍,这样每行的曝光时间都是一个周期的整数倍,亮度就保持一致了。控制帧率为25/50帧,不能解决横条纹的问题,但是可以让每帧图像中的横条纹固定在相同的位置。1/25是1/100的整数倍,可以使不同图像中每一行曝光的开始时间都相差四个周期。保证了每张图像中同一行的亮度是一致的。拍摄快速运动的物体会有失真

因为每一行曝光开始的时间不同,当物体快速运动时,每行抓拍下来的物体位置都不同,造成了物体的变形。

解决方法:

加大图像输出的速度(提高帧率也可行,本质上改变的就是输出速度)调整抓拍的时间和角度,比如远处的车辆每帧移动的像素点较少,可以去抓拍稍远处的车辆使用全局曝光的sensor

2. 全局曝光(global shutter)

每一行的起始曝光和终止曝光的时间一致,目前只有电警设备上用到,价格昂贵。因为电警设备有爆闪灯,爆闪灯亮的时间很短。如果使用卷帘曝光的sensor,一幅图像才曝光几行灯就熄灭了,所以必须要用全局曝光的传感器。

我司研发的全局扫描器,例如U8系列、X2、X3系列,扫描速度相对卷帘更快,识别速度更高,是不错的选择!

猜你喜欢

  • 电动自行车乱停乱放问题日渐严重,RFID赋能物业智慧管理

    电动自行车乱停乱放问题日渐严重,RFID赋能物业智慧管理

    随着电动自行车逐渐受到人们的喜爱,其市场也爆发出无穷潜力。据华经产业研究院、艾瑞咨询等资料显示,2020年、2021年我国两轮电动车产量为5100万辆、5443万辆,同比增长41.3%、7%。 在我国“《电动自行车安全技术规范》强制性国家标准”开始实施之后,虽然淘汰了不少在车速、电动功率等方面不和标准的产品,但电动自行车的需求仍旧旺盛,2021年,仅广东省便售出560万辆,位居全国榜首。 不过一直以来,电动自行车存在着随意停放,不安全用电等现象,对公共治安和城市形象均带来不好影响。自2018年起…

    新闻动态 2022年8月18日
  • 图书馆是怎么利用条码扫描枪的?

    图书馆是怎么利用条码扫描枪的?

    图书馆用条码扫描枪如何应用?事实上,图书馆管理系统一直都在使用条形码,甚至制定了标准的标记程序,从中也获得了很多益处。例如,图书馆通常为流通中的每件物品分配一个唯一的(编码)号码,它链接到数据库和书目记录。这使员工可以轻松跟踪物品并随时查看其位置。通常情况下,小型数据库(即少于 10,000 条记录)或有多个复印本和非特定图书编目号码的公共图书馆使用”通用标签”。可采用”智能标签”来节省更多成本和时间。在物品进行流通之前进行标记,由计算机预分配一个…

    新闻动态 2022年7月29日
  • 跟踪和追溯:利用RFID彻底改变零售业的供应链

    跟踪和追溯:利用RFID彻底改变零售业的供应链

    说零售业务,RFID技术最常用于商品溯源和库存可视化。同时,这项技术对改变端到端供应链物流的潜力影响也是非常大的。Datascan产品战略副总裁Herb Billings前不久表示:“射频识别(RFID)提供了一种更为准确、更快捷的方式来捕获所跟踪应用程序中的数据,从而实现对库存的实时可视化、减少收缩和盗窃、降低劳动力成本和提高运营效率等好处”。 事实上,根据Retail Info Systems的说法,RFID能够将收入从 5% 提高到 15%(具体取决于业务)。其他研究表明,截至2018年,…

    新闻动态 2022年8月5日
  • 最常见的三种RFID标签天线制作工艺

    最常见的三种RFID标签天线制作工艺

    在无线通信实现的过程中,天线是必不可少的部件,而RFID利用无线电波进行信息的传输,电波的产生和接收都需要通过天线实现。当电子标签进入读写器天线工作区范围内,电子标签天线便会产生足够的感应电流,从而获得能量被激活。 对于RFID系统来说,天线是至关重要的部分,它与系统的性能紧密相关。 目前,根据天线导线材质、材料结构与制造工艺等方面的差异,RFID标签天线大致可以分成以下几大类:蚀刻天线、印刷天线、绕线天线、加成天线、陶瓷天线等,最常用的天线制造工艺是前三种。 蚀刻法 蚀刻法也称为印刻腐蚀法,先…

    新闻动态 2022年8月10日

联系我们

13926511526

在线咨询:点击这里给我发消息

邮件:sales@sycreader.com

工作时间:全年无休

WeChat