发布时间：2024年2月29日
在处理图像传感器中的噪声问题时，随着图像传感器在汽车、医疗设备等安全关键应用中的使用和重要性日益增长，噪声已从一个令人烦恼的问题转变为一个可能威胁生命的问题，这要求实时解决。
在消费级相机中，噪声通常导致图像颗粒化，这通常与照明不佳、图像捕捉的速度或传感器故障有关。通常，这些图像可以在事后进行清理，例如减少自拍中的眩光。但在汽车中，高级驾驶辅助系统（ADAS）图像系统中的眩光可能会影响制动系统的反应速度。
而在车辆或医疗设备中，系统非常复杂，外部因素包括热、电磁干扰和振动都可能影响图像。这在需要处理大量数据的人工智能启用的计算机视觉系统中尤为问题重重。所有这些问题都可能受到老化电路的影响，例如介电体击穿或由于电迁移导致的信号路径变化。
噪声容忍度的阈值因应用而异。在动物运动检测系统或动物园的简单运动感应安全摄像头中，噪声容忍度要比用于医疗救生环境中的CT扫描仪或MRI系统低得多，可以以更低的分辨率运行。噪声可以指导致在获取任何形式的图像的组件或系统中产生错误的任何东西，包括可见光、热量、X射线、射频(RF)和微波。
噪声容忍度还由人类的感知决定。人类认为图像在信噪比（SNR）>20dB时令人愉悦，理想情况下>40dB。但物体通常可以在较低的SNR水平（1dB或更低）下看到。对于计算成像，为了推断可以接受的噪声水平，需要了解其应用级别的质量指标，并仔细研究这些指标对噪声的敏感性。
◈ 图像传感器的噪声基础
没有噪声是理想的，但也是不切实际的。对于图像传感器来说，噪声是不可避免的。当我们得到一个与预期不符的像素值时，就会产生噪声，并且无法从传感器的设计环节中去除它。这只是图像传感器工作方式的一部分，我们唯一能做的就是对其进行后处理。既然这不是我们的预期值，那应该是什么呢？
噪声主要被分为固定模式噪声和时间噪声，这也是为什么工程师无法避免去应对噪声的产生。时间噪声是基于光（光子）和电荷（电子）量化的基本过程，在给定曝光下捕获一定量的光时，人们会观察到不同数量的光子，这被称为光子散粒噪声，这也是所有成像系统中存在的基本噪声过程。但实际上，即使没有光存在，暗信号（也称为暗电流）也会表现出散粒噪声。
更糟糕的是，即使只有热量也会产生噪声，这也可能会给极端条件下的ADAS传感器提出挑战。也就是说，图像传感器不仅需要在极亮、极暗环境下正常工作，还需要能够在极寒和极热的环境下正常工作。但我们都清楚，在温度升高到一定程度时，所有CMOS传感器的运行速度会随着温度升高而降低运行速度并增加噪声。虽然当温度降低时，传感器能够跑的更快、更干净，但也仅限于一定程度。如果温度过低，传感器一样会产生其他的负面问题。并且，大多数IC在运行时就会产生热量，因此也会产生噪声，摆脱这种情况的唯一方法就是通过数字滤波将其去除。
固定模式噪声源于工艺不均匀性及设计选择，这可能会导致偏移、增益或稳定伪像。固定模式噪声可以表现为量子效率、偏移或增益以及读取噪声的变化。减轻固定模式噪声需要在工艺、设备、电路设计和信号处理水平上做出努力。
此外，噪声还会影响数字和模拟系统。数字系统始终从某些模拟来源开始对数据进行数字化，也就是说数字系统从一开始就会面临和模拟系统相同的噪声问题。而且，数字系统必须处理量化和像素化问题，这些问题总是在将某些模拟信号值转换为bit串时出现。如果这些bit在之后受到有损压缩算法的影响，也会产生额外的噪声。随着高速数字技术的发展，如双倍数据率存储器（DDRx）、正交幅度调制（QAM-x）、非归零（NRZ）线编码、脉冲幅度调制（PAM）和其他复杂的调制方案，意味着反射和跨通道耦合引入系统中的噪声，可能导致bit滑移和bit翻转。其中，许多问题可以通过数字协议固件或硬件内的纠错机制自动处理。
噪声可以从成像链的任一环节产生，并随之出现一系列的问题。例如，被成像的对象可能有阴影、遮挡、内部反射、非共面性问题、视差或甚至微妙的振动，特别是在制造环境中。在这种情况下，噪声可能会使检查变得复杂。例如，用X射线技术成像的多层电路板如果顶部和底部的网格阵列组件重叠，则可能会有焊点阴影。
图像传感器和图像主体之间的对齐变化——旋转或平移偏移以及平面倾斜，可能会增加变异性。图像传感器和图像主体之间间隙的热梯度可能会产生噪声，例如在炎热道路上的热闪烁。低照和过快捕捉图像也可能会产生噪声。
除了以上这些，还有其他的问题需要考虑。成像链中的镜头环节可能产生噪声，包括色差、球面像差和与微观尘埃或镜头缺陷等相关误差。镜头控制图像的焦点、景深和焦平面，所有这些都是图像采集的关键。另外，如上文所说，成像传感硬件本身即使是在正常工作环境下，也会因为设备运行产生热响应和制造变异性。低分辨率或低动态范围的传感器也可能会使图像失真。为传感器供电的线路中的电源完整性问题可能表现为图像中的噪声。最后，相机的光电转换功能（OECF）将在图像质量中发挥关键作用。
噪声产生的外部原因还包括闪烁，这也是需要处理的问题，摄像头才能够获取更清晰的图像。
LED交通灯或交通标志的闪烁对HDR解决方案构成了严重挑战，使驾驶员辅助和自动驾驶系统无法准确识别亮起的交通标志。
◈ ADAS的成像基础
尽管噪声对于ADAS传感器来说也是一个不容忽视的关键问题，但从实际应用考虑，它对于ADAS传感器的负面影响远比消费电子类产品要小。消费电子类产品更注重图像质量细节，一旦超出范围的像素都会毁掉图像。而ADAS不在乎图像是否美观，它更关注二元决策——刹不刹车。事实上，ADAS算法是在低分辨率图像上训练的，忽略了在消费电子类产品中会成为产品杀手的噪声。
举个例子，假设我们要在图像中识别到一只猫，那么首先要对图像进行“分割”，这是一个围绕潜在感兴趣对象绘制边界框的过程。然后将图像输入到神经网络中，并对每个边界区域进行评估。图像被标记，然后算法可以训练自己来识别图像中的内容。假如图像中是一只小猫或小狗，我们需要进行刹车。但如果说是一只臭水沟老鼠或者是南方大蟑螂，我们可能不在乎，不作停留继续行驶。听起来似乎有些搞笑，但ADAS算法确实为了给某些动物分配更低的值做了训练的。
对于ADAS算法来说，已经不能算是伦理道德的问题，而是关于驾驶安全的事了。换句话来说，就算出现在画面里的是一头猪，驾驶员即使不在意，但为了乘客安全或是行车安全，他也必须得刹车。但我们都清楚，在任何情况下刹车都可能会带来风险，这也要求驾驶员需时刻专注路况以减少意外的发生。当然，在举例中，猫狗被赋予的价值明显远高于蟑螂老鼠。
如果一个物体被另一个物体完全或部分遮挡，又或者是被炫光所遮挡，那么就需要更先进的算法来正确识别这个物体是什么。从相机接收到帧并经过基本的图像信号处理后，图像将被提交给神经网络。
在进入计算机视觉领域后，将以一个已经清理过并准备好呈现的帧或帧序列开始，然后再打包这些帧并发送到一个AI算法并进行训练，或者是直接采用这些图像在本地神经网络上进行处理，它将首先在帧内创建一个边界框，然后尝试识别在正在检查的帧中找不到的对象的对象。如果AI在检查的帧中无法识别出对象，它将尝试在后续帧中识别出对象。
在危险情况下，自动刹车系统有约120 ms的时间做出反应，因此所有这些处理都需要在车内完成。事实上，甚至可能没有时间将传感器路由到车辆自身的处理器。我们可以做个假设，当车速为105 km/h时，汽车每秒行驶约29 m。当车速为105 km/h时，需要大约150 m才能完全停下来。因此，即使在车速为52 km/h的汽车中，它也会在1 s内行驶约14 m。如果传感器到AI再到刹车的整个往返过程需要半秒钟，那么汽车将会在路上行驶约7.5 m，仍然需要刹车。而传感器每秒大约捕捉30帧图像，也就是说每隔33 ms，AI就必须做出另一个决定。
市面上已经有公司正在使用高级综合技术开发智能传感器，其中附加一个芯片——具有图像信号处理器（ISP）的所有传统功能，例如降噪、去模糊和边缘检测——直接与传感器相邻。
它现在开始包括计算机视觉能力，这可以是算法驱动的，也可以是AI驱动的。这将会是一个内置神经网络的智能传感器。它甚至可以是一个可重新编程的神经网络，所以一旦它变得更加智能，就可以立即更新不同的权重和参数。
如果这种方案能够取得成功，这也意味着传感器可以在本地执行动作，从而实现实时决策。它还可以重新打包信息，将其存储和处理在云端或汽车本地中，以便日后进行训练，以提高更加准确、快速的决策能力。事实上，现在很多ISP已经能够动态补偿图像质量。例如，从明亮的光线突然变为昏暗的光线，或者反之亦然，ISP可以检测到这一点并更改传感器设置。然而，这种反馈早在图像进入AI和物体检测阶段之前就发生了，因此后续帧在进入AI或物体检测之前会更清晰。
已经存在的一个应用是驾驶员监控，这为设计者带来了另一个关键的噪声问题。比如汽车在出入隧道时，阳光可能会直射到驾驶员的脸上，导致一切都被光线覆盖，或者车内会变得一片漆黑。要构建一个模拟传感器和相关的模拟设备，具有如此大的动态范围和所需的细节级别，这就是噪声带来的挑战，因为构建一个完美覆盖如此大动态范围的传感器是不可能的。在光线过于明亮或饱和的地方，质量会降低，这就需要进行补偿。而有时，当你想要确保驾驶员正在做他们应该做的事情时，这恰恰是最危险的时刻。
◈ AI与噪声
噪声的挑战和传感器日益智能化也引起了AI领域的关注。已经有一些AI系统能够填补数字图像的遮挡部分，这对于高级驾驶辅助系统（ADAS）来说具有明显的潜力。然而，要在边缘实时执行此操作，将需要新的专用处理元件来提供对安全关键系统所需的即时反馈。
而且，这种实时处理的能力已经在手机中得到拓展，如快捷抠图并填充背景等。业内人士指出，对于汽车传感器来说，这种实时处理的能力实际上是一个计算扩展问题，而非一个无法解决的问题。他提到，随着技术的进步，现在的5nm技术可以在只有10mm²的面积上实现40TOPs的完全可编程GPNPU功能，这只是目前正在设计的大型（>400mm²）ADAS芯片的一小部分。因此，他认为有足够的可编程GPNPU计算能力来处理这些用例。
◈ 分析噪声
图像传感器的噪声分析是一个复杂且活跃的研究领域，可以追溯到50几年前。在分析噪声时，供应商通常会建议直接与他们沟通，以确定他们的仪器是否满足项目的特定需求。
◈ 建议
以下是关于如何在图像传感器项目中减少和管理噪声的一些建议：
- 明确目标：首先，需要明确传感器在整个系统中的目标。这有助于确定所需的图像质量和噪声水平。某些应用可能需要低分辨率但快速的图像，而其他应用可能需要高分辨率但较慢的图像。例如，缓慢、低分辨率的热成像仪或矢量网络分析仪可以揭示有关皮下或硬膜下疾病或损伤的信息，而这些信息对于高分辨率、高速可见光传感器来说是不可见的。
- 与供应商合作：与提供组件和模块的供应商合作，了解他们已经在噪声分析和去噪方面做了哪些工作。这可以帮助你避免重复工作，并且可以学习他们的专业知识和经验。
- 考虑产品生命周期：在整个产品生命周期中都要考虑图像噪声。在设计阶段早期使用模拟工具可以帮助预测并解决由信号完整性或电源完整性引起的问题。
- 从用户角度分析问题：了解最终用户的目标、担忧和技能水平，以及他们的预算。这有助于确定最适合他们需求的系统，即使是牺牲一些图像质量或性能。
- 熟悉相关标准：了解并遵循现有的相机、光学和成像标准，例如 ISO 9358、ISO 12232、ISO 12233、ISO 14524和ISO 15739，以及欧洲机器视觉协会 EMVA 1288等。这些标准可以帮助你确保你的系统达到一定的性能和可靠性水平。
- 研究最新技术：关注并研究最新的降噪技术，如使用高等数学、统计学和人工智能的方法，如贝叶斯估计、线性最小均方误差估计、高阶偏微分方程和卷积神经网络等。这些新技术可能可以帮助你进一步提高图像质量，减少噪声。
◈ 未来
虽然当前的ADAS系统可能比其他形式的成像更能容忍噪声，但未来可能并非如此。更多的用例将推动图像传感器向更高的分辨率发展，而这将需要更多的本地处理和降噪。
过去很多图像处理都是VGA，但像舱内监控这样的应用，如跟踪驾驶员和乘客的眼睛以识别舱内发生的情况——包括监控驾驶员的警觉性，或者是否有人被留在车后座等，将开始推动我们向更高分辨率的图像发展。反过来，这也将开始要求提高降噪技术水平，处理图像阻塞，以及能够在本地处理更多的数据。当VGA升级到720，再升级到1020，甚至达到4K时，我们操作的像素数量将增加4倍。每一个都需要越来越多的本地化处理。这就是我们最终会走向的方向。
相关阅读：
联系我们：
如果您有什么问题或想要了解的讯息，欢迎与我们留言，也可邮件咨询： sales@colorspace.com.cn，分享您的看法或提出您的问题！
Was this helpful?
1 / 0