一、Sensor的硬件结构

1. 每个像素的结构

每个像素点的最上方有个微透镜,增加透光量。有镜头就有CRA的问题,超出一定角度的光线无法被收集,需要和镜头进行匹配。

sensor对于相机成像的作

像素的结构

2. sensor的纵向结构

光透过电路会发生反射,造成每个像素点之间的干扰。背照式的结构(感光层在电路的上方)不会受到电路的影响。

sensor对于相机成像的作

sensor的纵向结构

3. CFA(color filter array)

每个像素点上覆盖有一种颜色的滤光片,从而去感知每种颜色的亮度。

sensor对于相机成像的作

滤光片CFA

Bayer格式:绿色分量为总像素数的一半,红色蓝色为总像素的四分之一。

3.1 MONO sensor

由于滤光会带来亮度上的损失,有种MONO sensor,没有滤光片的处理,亮度会大大提高(有文章说可以提高四倍),但是这就感知不到颜色了,所以又叫黑白sensor。

3.2 光谱响应曲线

下图是IMX290每个红绿蓝滤光片的光谱响应曲线。

sensor对于相机成像的作

IMX290光谱响应曲线

这是人眼视锥细胞对光谱的响应曲线

sensor对于相机成像的作

人眼视锥细胞对光谱的响应曲线

由于人眼和sensor对光谱的感应曲线不同,同一个物体感知到的颜色不同。因此颜色需要一个转换关系。ISP中的CCM(色彩校正矩阵)就此诞生,利用一个3×3的矩阵,将sensor感知到的RGB颜色,校准成我们看到的RGB颜色。

3.3 红绿灯变色问题

这里穿插一个监控摄像头常遇到的问题,拍红灯的时候,经常会拍成黄灯和白灯,这是为什么呢?

因为红灯的光谱在780~620nm之间,从光谱响应曲线中可以看到,红像素最敏感,然后是绿像素,最后是蓝色像素。

当感光度比较小的时候,红色像素的亮度远远大于绿色和蓝色,肯定是呈现出红色。感光度比较大时,绿色像素也能有很高的亮度,而红色像素早已经饱和了,不在增加,这个时候呈现的颜色就是红色+绿色=黄色。感光度很大的时候,RGB都饱和了,红绿蓝加在一起就是白色。解决方法:

降低曝光换用蓝玻璃IRCUT:在650nm以上的红光,绿像素的感应也很强。换用蓝玻璃IR可以有效减少绿像素的干扰。同时它也可以比较彻底的滤除630nm以上波长的红光,减少过曝的问题。3.4 去马赛克由于sensor每个像素点只能感知到一种颜色,因此想要得到每个像素点的RGB值,需要进行插值,这个过程就是去马赛克(Demosiac)。

sensor对于相机成像的作

demosiac

4. IR-CUT

大家都知道,摄像头有个IR-CUT,那为什么要加IR-CUT filter 呢?IR-CUT是红外滤光片,可以滤除红外光。

从IMX290的光谱敏感性曲线可以看到sensor到了1000的波长还能进行光电转换,而人眼只能到700nm,也就是可以说sensor 的“可见光”和人眼的不一样,而且范围远远比人眼的要大。

那么就会导致什么问题呢,最大的问题就是颜色不一样,因为人眼是感受到的是在可见光在可见光范围内的响应,而sensor感受到的却是在400-1000范围内的响应。因此我们需要加上一个IR-cut 使sensor感受的波段和人眼一样。

还有一个原因:当光线进入镜头,由于折射率不同,可见光和红外光会在靶面的不同位置成像,IR-CUT可以减少红外光产生的伪像。

4.1 拓展:RGB-IR sensor

补充一种sensor,这种sensor不用IR-CUT,除了有RGB三种CFA,还增加了一种专门只通过红外光的CFA。由光谱图我们可以知道,普通sensor中的绿像素不仅仅能感知绿色,还能感知到红外波段的光,实际上是绿色+IR(红外光)。RGB-IR的sensor有个IR像素只感知红外光,两者相减就可以得到可见光的绿色。

sensor对于相机成像的作

RGB-IR format

这样就用数字滤光代替了IR-CUT。我觉得更有应用场景的地方在于,夜间场景下开红外灯,不仅可以感知到红外,还能感知到颜色,是一种待开发的黑光技术。

5. 黑电平

黑电平(Black Level Correction)也就是黑色的最低点,以8bit数据来说,指在经过一定校准的显示装置上,没有一行光亮输出的视频信号电平。定义图像数据为0时对应的信号电平。

黑电平产生的原因:

CMOS传感器采集的信息经过一系列转换生成原始RAW格式数据。以8bit数据为例,单个pixel的有效值是0-255,但是实际AD芯片(模数转换芯片)的精度可能无法将电压值很小的一部分转换出来,因此,sensor厂家一般会在AD的输入之前加上一个固定的偏移量,使输出的pixel value在5(非固定)-255之间,目的是为了让暗部的细节完全保留,当然同时也会损失一些亮部细节,由于对于图像来说,我们的关注度更倾向于暗部区域,ISP后面会有很多增益模块(LSC、AWB、Gamma等),因此亮区的一点点损失是可以接受的。sensor的电路本身会存在暗电流,导致在没有光线照射的时候,像素单位也有一定的输出电压,暗电流这个东西跟曝光时间和gain都有关系,不同的位置也是不一样的。因此在gain增大的时候,电路的增益增大,暗电流也会增强,因此很多ISP会选择在不同gain下减去不同的黑电平的值。ISP pipeline中的黑电平校正(Black Level Correction) :

拍几张不同增益下的全黑图像,算出每个增益下对应的黑电平值。isp会在raw图之后减去这个黑电平值。这一般是ISP的第一步。

6. 坏点

传感器芯片由于工艺的原因产生一些有缺陷的像素点,这些像素点可能比邻近的像素点更暗或者更亮。

ISP pipeline中的的坏点校正:

在判定某像素为坏点后,会根据邻近像素点的值计算得到一个值以替代该坏点。

二、Sensor的曝光

sensor的曝光时间和快门时间是一个概念,都是sensor的感光时间。曝光(快门)时间越长,图像就越亮。

当控制快门时间,仍然达不到期望的亮度,就需要调节sensor的感光度(ISO)。CMOS sensor的感光度就是它的增益。增益是用模拟或数字的方法进行放大,不可避免的会放大噪声,因此拍摄时一般快门优先。

当拍摄高速运动的物体或者手抖的时候,容易产生运动模糊,就需要降低快门时间。

sensor的曝光方式有两种,卷帘曝光和全局曝光。

1. 卷帘曝光(rolling shutter)

sensor曝光是每一行依次开始曝光的,所以图像中每一行的起始曝光时间是不一致的,目前大部分sensor属于这种。下图是卷帘曝光拍摄高速运动的物体的现象。

sensor对于相机成像的作

卷帘曝光失真

这是IMX290的sensor曝光与输出示意图

sensor对于相机成像的作

IMX290 曝光序列

黄色区域是sensor处于感光的时间,蓝色区域是sensor每一行数据的输出时间,红色是曝光开始的时间。XHS是进行每个操作的最小时间单位。

从时间先后来看,一幅图像是从第一行开始曝光,一个XHS之后,再从第二行开始曝光,依次类推。图像的第一行曝光结束后,进行输出,输出数据的时间是一个XHS,依此类推。

卷帘曝光带来的问题

日光灯下有横条纹

日光灯属于频闪灯,跟当地的供电频率有关,如果当地的供电是50Hz的正弦波(国内),日光灯就会以100Hz的频率闪烁。sensor每行的起始曝光时间是不同的,这就导致了每一行曝光时的亮度不同。因此会出现横条纹

解决方法:

控制曝光时间是1/100的整数倍,这样每行的曝光时间都是一个周期的整数倍,亮度就保持一致了。控制帧率为25/50帧,不能解决横条纹的问题,但是可以让每帧图像中的横条纹固定在相同的位置。1/25是1/100的整数倍,可以使不同图像中每一行曝光的开始时间都相差四个周期。保证了每张图像中同一行的亮度是一致的。拍摄快速运动的物体会有失真

因为每一行曝光开始的时间不同,当物体快速运动时,每行抓拍下来的物体位置都不同,造成了物体的变形。

解决方法:

加大图像输出的速度(提高帧率也可行,本质上改变的就是输出速度)调整抓拍的时间和角度,比如远处的车辆每帧移动的像素点较少,可以去抓拍稍远处的车辆使用全局曝光的sensor

2. 全局曝光(global shutter)

每一行的起始曝光和终止曝光的时间一致,目前只有电警设备上用到,价格昂贵。因为电警设备有爆闪灯,爆闪灯亮的时间很短。如果使用卷帘曝光的sensor,一幅图像才曝光几行灯就熄灭了,所以必须要用全局曝光的传感器。

我司研发的全局扫描器,例如U8系列、X2、X3系列,扫描速度相对卷帘更快,识别速度更高,是不错的选择!

猜你喜欢

  • 量子技术离我们有多远

    当提及量子物理学和量子技术时,很多人听起来会觉得很陌生,但实际上,两者都是我们日常生活中的一部分。从导航到LED灯,量子物理学推动了人们认为理所当然的许多技术。 人们使用的很多设备都使用了量子技术,而且这些设备中有许多是在量子物理知识成熟到足以更好地理解这些设备之前开发的。量子物理学虽然已发展了一百多年,但是到目前为止,科学家们依然在探索这一神秘领域。 下面,将详细的介绍一些在日常生活中人们常见的使用量子技术的产品。 LED LED灯,也被称为发光二极管,几乎每个家庭都在使用,因为它们比其他灯泡…

    新闻动态 2022年3月28日
  • 宠物芯片植入

    宠物芯片植入

    给狗子打针芯片到底好不好 给狗打针芯片,米粒巨细,植于体内,效果相当于狗的电子身份证,扫描芯片,上面有狗的血缘证明,狗子的信息以及驱虫用药等同步信息,还有宠主的信息。给狗打针芯片的长处:狗子丢失能够经过扫描芯片信息找到宠主,一方面,意外丢失的狗狗找到的时机添加; 另一方面,人们不能容易遗弃狗狗,芯片上的留有宠主的信息,降低漂泊犬几率。如果狗子伤人经过扫描芯片能够找到宠主追责。打针芯片的不足之处:芯片植入的费用比较高,一般要几百元。 芯片植入一般不影响狗子健康,但如果植入手术做得欠好,或许时刻长芯…

    新闻动态 2022年4月19日
  • 如何选择合适的扫码枪

    如何选择合适的扫码枪

    将条码技术引入到物流快递行业中,通过快递扫码枪整合收件、分拣、配送、派件等各个环节的工作业务,实现智能化工作与管理。对每个环节的时间点、责任人等关键数据进行实时采集,传输到统一的信息平台。管理人员可通过后台查看与管理,客户也能查看到实时的物流跟踪信息,高效便捷,不仅大幅度提高了物流运转效率,降低成本,还有利于提升用户服务体验,提高满意度。 快递扫码枪在物流快递行业的应用方案 1、仓库管理:快递扫码枪能有效、准确、智能地对入库、库存、出库进行信息自动识别、采集、记录及数据管理,并可对相关信息实现快…

    行业资讯 2022年1月10日
  • 2022年零售业RFID应用的三大趋势

    2022年零售业RFID应用的三大趋势

    图源:IoT For All 零售业在过去几年中发展迅速,并且没有显示出放缓的迹象。为了生存和发展,零售商需要跟上最新的零售技术。某些RFID厂商已帮助零售商应对多种挑战,包括全渠道履行,防损和自动自助结账。如耐克(Nike)和Zara等知名国外品牌已经在对RFID投资中获得了可观的回报。以下三个方面分解了投资RFID解决方案在零售业中明显的好处。 #1:全渠道履行 在新冠病毒大流行期间,当商店因鼓励保持社交距离而关闭时,消费者转向在线购物。即使商店重新开放,购物者现在也希望…

    新闻动态 2022年8月23日

联系我们

13926511526

在线咨询:点击这里给我发消息

邮件:sales@sycreader.com

工作时间:全年无休

WeChat