发布时间:2024年2月4日
本文翻译自 IEEE P2020-2022 7月版标准草案,正式案仍有可能有变化,仅供参考。
7. Flicker (闪烁)
7.1 概述
7.1.1 引言
本条款的范围涉及摄像系统视场中场景照明调制引起的图像闪烁。其他图像伪影,包括图像损坏,撕裂,丢帧或曝光控制错误通常被称为闪烁,但考虑到这些伪影的源头或影响超出了本标准的范围。
在本标准的范围内,闪烁指的是由于场景照明的变化而导致图像的亮度或颜色部分或全部调制。闪烁可能发生的最常见情况之一是由50/60Hz交流电源驱动的光源照亮的场景。在这种情况下,照明对于人眼观察者来说似乎是恒定的,然而,如果没有适当的对策,摄像机图像或图像序列的亮度可能会波动。这是一个长期存在且被充分理解的问题,通常可以通过确保摄像机的曝光时间是照明频率周期的一半的整数倍来解决(例如,如果灯光由50Hz正弦信号驱动,则曝光时间应为1/50/2 = 10ms的倍数)。
这种闪烁对策在场景由典型的交流供电的光源照明时效果很好,因为频率通常是已知的或可以相对容易确定的。幸运的是,目前只有两种广泛使用的频率,50Hz和60Hz。然而,其他类型的光源,包括LED,通常不是由标准可预测的频率驱动的。这些类型的光源更有可能在图像中引起更难以对抗的闪烁。
在许多应用中,由于其低成本,高效率和设计灵活性,LED照明已经取代了传统的白炽灯和荧光灯。在汽车环境中,LED照明现在常用于车辆大灯,刹车灯,倒车灯和大多数其他外部和内部应用。LED照明还被用于交通信号灯,广告,速度标志,临时道路标记和许多其他可能被汽车观察到的灯光。
LED照明的亮度通常由PWM控制。通过改变LED灯的脉冲宽度(即占空比,即它处于开启状态的总时间的百分比),可以改变所感知的LED亮度。这种调节方法被广泛使用,因为与调节应用于LED的模拟直流电流相比,它更简单,更稳定,更高效地控制照明亮度。这是因为PWM调光可以实现比电流调制更高和更稳定的调光比。另外,与电流控制调光不同,LED的颜色随亮度变化的偏移是可以忽略的。PWM调制的频率通常选择大于90Hz,远高于人眼的融合频率,因此PWM光源在眼睛看来是稳定照明的。
PWM驱动LED照明的同时发展和汽车成像的演变,导致了视频摄像机观察到的LED光源闪烁现象日益普遍。闪烁是数字成像中观察到的一种现象,在其中一个光源或成像场景的区域似乎闪烁(即光源可能似乎开关打开和关闭或在亮度或颜色方面调制),即使直接由人类观察者观察时,光源似乎是恒定的。值得注意的是,“LED闪烁”一词因LED车辆照明和道路标识的广泛普及而变得流行。然而,这种现象不仅仅发生在LED前大灯上 – 任何脉冲或低占空比的光源都会出现相同的效果,例如交通基础设施中的非LED照明,如街灯、建筑物上的外部照明和标识。在这些情况下,频率通常是交流电力线频率或交流电力线频率的倍数,并且闪烁波形可以是正弦波形。闪烁的影响因应用而异。对于较简单的查看应用(例如,后视停车辅助摄像机),闪烁可能被视为烦恼,最坏的情况是对驾驶员的干扰。然而,对于相机监视系统,例如镜子替代(CMS)闪烁的前大灯可能被误认为是转向信号/指示器,或者如有报道的那样,可能导致驾驶员错误地将后面的车辆认定为紧急车辆。在ADAS应用中,闪烁可能增加检测交通信号、速度限制标志或安全信息的难度。
7.1.1.1 定义
闪烁是指图像或视频流中像素的数字值的调制,尽管从该点反射出或发射出的光对于人眼观察者来说是恒定的。
注:本标准的重点在于相机捕捉到的图像或图像序列中的闪烁。因此,在本标准的范围内,闪烁指的是捕捉到的相机信号的调制,而不是光源本身的调制。为了本标准的明晰,术语“亮度调制”和“照度调制”在此处指的是光源的调制。
7.1.1.2 根本原因
闪烁基本上是一种时间采样问题。LED灯可能以多次脉冲的方式每秒脉动数百次,脉冲占空比不同,以调整其表面亮度。在这些频率下,光对于人眼观察者来说是恒定的,因为人眼实际上充当时间低通滤波器。然而,相机捕捉光源时可能在与这些波动相同的时间尺度上曝光其传感器,从而更容易记录光源本身的变化。这在明亮的照明条件下特别明显,例如在充满阳光的白天或对面来车的车头灯下。
图7-1中显示了一个说明性例子。在第N帧中,相机的曝光时间与PWM驱动的LED交通信号灯的脉冲时间重合。因此,在第N帧中,相机会捕捉到红色交通信号灯。然而,在第N+1帧中,相机的曝光时间和LED脉冲不重合。在这种情况下,红色信号灯将不会被捕捉到。在多个视频帧的过程中,交通信号灯将会出现闪烁,取决于相机在连续帧中的曝光时间是否与LED光脉冲重合。
更具体地说,如果相机的曝光时间小于光源频率的倒数,即脉冲光源可能会闪烁(开/关)。
![](https://kb.colorspace.com.cn/kb/wp-content/uploads/2023/07/image-79-1024x76.png)
式中,
- 照相机的曝光时间
- PWM是脉冲照明的频率
- dutycycle是脉冲照射的占空比
即使在曝光时间等于或大于方程(7-1)的情况下,闪烁也可能在一定程度上仍然发生,因为相机捕获的的时序相对于LED调制时移位时被感知到的光量不同。
7.1.1.3 应用案例
在汽车成像应用中,LED闪烁有两个主要使用案例:
- 相机视野内直接成像的闪烁光源的闪烁或调制。例子包括闪烁的大灯、红绿灯或路标。这种闪烁的表现被称为发光闪烁。(illuminant flicker)。
- 由PWM驱动的光照亮的路面可能会出现闪烁或调制。这种闪烁的表现被称为反射闪烁。(reflectance flicker)。
- 在许多场景中,这两种效果的组合可能会同时发生,如果涉及不同的光源,闪烁率可能彼此独立。然而,请注意,光源和反射率闪烁的基本原因是一样的,即光源的调制。光源闪烁和反射闪烁之间的主要差异是它们发生的场景/使用案例,图像中闪烁效果的表现。
7.1.1.4 发光闪烁 – 直接成像光源闪烁
直接成像光源是直接位于相机视线的光源。大多数现实世界的例子被本地化到相对较小的图像区域;例子包括大灯、路灯、交通标志、道路标记等。这种类型的闪烁被称为“发光闪烁”,因为发光光源在相机的FOV范围内。一个典型的例子如图7-2所示。
在图7-2中的示例中,车辆的LED行车灯由PWM信号驱动。LED的占空比、周期和频率被修改为:在大灯激活时调暗LED灯。结果是当被相机拍摄时,它们似乎会闪烁。这个图说明了汽车照明的几个典型挑战。请注意,例如,在此框架中,左侧的LED显示为关闭,而右侧的LED显示为打开。大多数车辆在大灯之间没有任何大灯频率、占空比、周期或相位的同步。其结果是,大灯通常以不同的速率和/或相位闪烁。
7.1.1.5 反射率闪烁 – 反射脉冲照明的闪烁
当场景被脉冲光源基本照亮时,也可能发生闪烁。典型的例子包括由交流驱动的光源照亮的场景或由车辆大灯或由脉冲信号驱动的路灯照亮的场景。在这个例子中,闪烁的拍摄图像通常具有明显的时间和空间特征(明暗条纹,或称带状伪影)。例如,如果使用滚动快门图像传感器,带状伪影可能会以深色或浅色带的形式出现在图像上,这些条带在帧上或下移动。这是,因为滚动快门传感器按顺序从图像顶部读取像素到底部。如果光源闪烁,那么像素捕获的光线水平将在整个图像中有所不同。这类似于交流电源线带频率效应。然而,如果光源不是正弦的,就像的PWM驱动LED一样,它将在图像中造成非正弦带效应。图7-3中显示了示例。
在图7-3中,图像是用60fps相机拍摄的。示例是在100Hz和1000Hz之间的不同频率拍摄的。与50/60Hz交流条带效果不同,频带的数量、频带高度等可以取决于LED的频率和占空比以及相机的帧速率。这种类型的闪烁被称为反射闪烁,因为闪烁来自相机FOV之外的闪烁光源的反射光。
7.1.1.6 闪烁的影响
闪烁的影响和严重程度取决于用例和应用。对于慢速应用,包括备用摄像头系统或环绕视图系统,在大多数情况下,视野范围内的光源的PWM闪烁主要是对司机的烦恼或分心。然而,还有一种可能性,即PWM闪烁会分散驾驶员的注意力,从而造成事故。对于视频备份和环视应用程序来说,有一个场景是有问题的。如果车辆有PWM驱动的车灯,并且当停车入位时正在录制视频,那么车辆自有灯的反射可能会造成图像闪烁。这可能会让驾驶员非常不安,特别是当带状频率比较高时。图7-4显示了这种现象的一个例子,其中车辆的前大灯反射在车辆前面的墙上。反射光似乎以一种视觉上令人不安的方式闪烁。
在CMS(电子后视镜系统)等高速观看应用程序中,PWM闪烁更有可能造成事故。考虑以下情况:车辆有CMS系统,司机正在查看后面装有LED大灯的车辆。车辆LED大灯通常由具有独立频率和占空比的PWM信号驱动。因此,一个大灯可能会以较慢的速度闪烁(例如,<0.1Hz),而另一个大灯可能会以更快的速度闪烁(例如0.5Hz)。在这种情况下,在司机看来,尾随车辆的转向灯指示器已经启动。司机可能会错误地认为尾随车辆打算改变车道或转弯。这种对场景的误解具有潜在的危险后果。图7-5显示了这种效应的一个例子。
在该示例中,突出显示的LED灯看起来以约0.5Hz的频率闪烁开和关,非常类似于转向信号的频率。 在拍摄的视频中,车辆上的另一个LED灯熄灭约5秒。 结果是,在这种情况下,看起来车辆的转向信号开启并且驾驶员意图改变车道。 但事实并非如此。
类似地,已经有驾驶员将尾随的汽车误解为紧急车辆的报道(例如, 警车)的警灯亮着。如果PWM驱动的灯在视频中以更高的速率闪烁,例如, 5 Hz或更高。 据报道,有司机误认为一辆尾随车辆是紧急车辆,便为该车辆变道或让路。
PWM闪烁也会影响ADAS和自动驾驶应用。 PWM LED灯越来越多地用于交通信号和其他交通标志,包括变速标志,道路工程标志等。闪烁可增加检测交通信号、速度标志或安全消息的难度。
这在图7-6的例子中清楚地显示出来。 在该示例中,在一个连续帧中捕获交通灯的开启和关闭。 这将给交通标志检测算法带来重大挑战。
7.1.1.7 HDR成像
脉冲光源的HDR成像也会导致特定的伪影。之前已经对HDR LED伪影的根本原因进行了全面描述(见附录J)。简而言之,汽车领域的大多数HDR成像器都使用某种形式的多重捕获技术来扩展DR。当多捕捉HDR图像传感器捕捉到闪烁的LED时,LED脉冲可能会在一次曝光中捕捉到,但不会在另一次曝光。因此,LED光在一次拍摄中可能显得曝光过度,而在另一次拍摄时则完全曝光不足。当这些捕获被合并时,结果是一个平坦的灰色伪影,其中没有保留任何细节。一个例子如图7-7所示
7.1.1.8闪烁缓解(减轻)
“闪烁缓解(减轻)”是指为降低闪烁的严重性和发生率而采取的技术和行动。之所以使用“闪烁缓解”一词,是因为在现实世界的实际场景中,通常不可能完全防止或消除所有场景中的闪烁。对闪烁缓解方法的详细分析超出了本标准的范围。然而,本节提供了一个简短的概述,因为在定义度量和测试协议时需要考虑闪烁缓解方法。为了缓解AC光源的闪烁,标准的解决方案是确保相机的曝光时间是闪烁光源周期的倍数(例如,对于60HZ正弦照明,曝光时间应该是1/60/2=8.33ms的倍数)。对于PWM驱动的光,频率没有严格调节,因此不可能将相机的曝光时间与光的频率相匹配,如同AC照明的情况一样。相反,主要的缓解方法是确保暴露时间至少与所需的最低频率相同。例如,EN 12966:2014 BI7规定临时道路标志的最低频率应为90HZ.
7.1.1.9 低频闪烁
值得注意的是,在汽车环境中,有几个光源在人类感知的频率范围内故意闪烁。这些包括车辆转向灯、紧急车辆照明(警察、救护车、消防服务等)和临时/紧急路标。这种性质的信号通常在1-4Hz范围内运行,具体取决于区域立法要求和标准[B18]和[B20]。对于这种性质的信号,相机系统准确再现这些类型的闪烁光很重要。未能准确再现这些闪烁的灯可能会影响车辆安全。本标准中定义的测试方法也可用于测量相机系统准确再现低频灯的能力。然而,对测量的KPI的解释将有所不同,取决于调制光源频率是否为人眼可见。简而言之,对于超出人类视觉范围的频率,最好减轻闪烁。然而,在人类视觉范围内的频率范围内,缓解闪烁是不可取的。
7.1.2 范围
7.1.2.1本标准的适用范围是什么?
该标准定义了汽车图像用例中的闪烁、根本原因和影响。 它提供了测量闪烁的测试设置和程序的建议。 该标准进一步定义了用于量化闪烁的度量。
本标准还提供了测量闪烁时应注意的背景信息和操作注意事项。
7.1.2.2 本标准未涵盖的内容是什么?
本标准不要求测试特定的频率范围、照度水平或类似参数。 它也没有定义测试指标的限制或推荐范围。 允许的闪烁和闪烁缓解的要求将根据应用要求而变化,因此不适合为定义的度量定义建议的限制。
7.1.2.3 P2020有什么新功能?
迄今为止,对于闪烁,特别是对于汽车应用,还没有标准定义、测试程序、设备或度量。 本标准提出了测量闪烁的标准定义、测试程序、度量和附加测试建议。
7.1.2.4 与现有标准相比,P2020将解决什么问题?
P2020定义了用于评估闪烁的标准测试程序和指标,以实现给定相机和场景的闪烁的表征和基准测试。 本发明提供了评估与应用相关的频率范围的闪烁减轻以及确定承载信息的光(例如, 闪烁的交通灯)将被正确地提供给给定的MV算法。
7.2 综述
根据本标准获得的KPI包含在\闪烁测量的主题中。为了获得这些KPI,本标准描述了两步过程:
- a)获得测试中闪烁光源的视频序列
- b)基于在视频序列上对成像光源的测量得出闪烁的KPI测量原理遵循本标准中描述的测量方法。
7.2.1 限制
所描述的测量过程基于来自闪烁光源的捕获图像序列的数字响应水平的测量。
已知的是,对所捕获的光的像素响应可以受到成像条件和图像处理算法的影响,包括AEC、增益、TM、LTM、HDR图像组合、黑电平调整和可以在相机内部应用的其他信号修改。 因此,该标准要求在任何闪烁测试报告中包括背景照明水平、被测闪烁光的亮度以及摄像机操作参数。 所需的摄像机和照明参数详见7.7.1。 如果任何参数是未知的(例如在用黑盒照相机测量的情况下),则要求将这些限制包括在闪烁测试报告中。
存在关于可用于汽车应用的频率和占空比的最小标准化。 IEEE 1789 [B19]、NEMA 77 -17 [B21]、CIE TN 006 -2016 [B22]包含为安全起见应避免的频率建议。 EN 12966:2014 [B17]规定,道路信号应使用90 Hz的最小频率,以避免人眼可见的闪烁。 然而,在这些最小限制之外,汽车工程师可以自由使用PWM频率和占空比的任何组合。 因此,当评估相机系统中的LED闪烁时,需要测试频率和占空比的多种组合。 测试频率和占空比的每种组合都是一项挑战。 因此,定义的标准要求在任何闪烁测试报告中应包括受试闪烁灯的频率和占空比。
7.3 测试条件和方法-光源闪烁
以下章节定义了用于评估闪烁光源在DUT FOV内的场景的程序和指标。 本测试设置旨在模拟闪烁光源位于摄像机FOV内的真实使用情况,例如:闪烁的前灯、交通标志等。测试设置旨在适应黑盒DUT的测试。 黑盒DUT测试考虑因素的更详细描述,见1.4.2.3。
本标准中定义的测试用例不知道是否使用光度或辐射单位。 在以下部分中,已经描述了引用光度单位的示例性实现。 但是,需要使用适当的等效辐射单位。
7.3.1 仪器和硬件
7.3.1.1测试设备测试设置如图7-8所示。
PWM驱动的LED光源(5)应放置在DUT(3)的FOV内,位于静态背景(1)的前面,该静态背景可以是反射式(正面照明)或透射式(背面照明)。 在图像采集期间,DUT应(3)安装在三脚架或其他固定装置上。
调制光源(5)应具有可变频率、占空比和强度。 在一个实施例中,“开”和“关”参考光源在整个测试期间在DUT的FOV内。 “开启”参考光源是与被测光具有精确设计和物理特性的光源,但由亮度匹配的恒流源驱动。 “\off”参考光源是具有与被测光完全相同的设计和物理特性的光源,但是对于所有测试场景都被关闭。 背景亮度应可配置
在第二实施例中,“开”和“关”参考光可以被顺序地捕获,即通过使用相同的光源,但是由恒定的亮度匹配的光源驱动,以捕获“开”信号参考,并且在灯关闭的情况下捕获“关”信号参考。 该方法适用于相机系统和测试设置,其中可以影响闪烁测量的所有参数都是已知的并且是受控的(例如:手动曝光控制、动态TM、白平衡和类似算法被禁用)。
对于黑盒摄像机,其中AEC、TM算法等的细节是未知的,推荐使用第一实施例,即在所有测试捕获期间,参考光源在FOV中。 其原因在于,在该实施例中,场景DR和图像统计将在整个测试中保持相对恒定。 相比之下,如果仅闪烁的光在FOV中,则闪烁可能导致相机ISP内的AEC和/或TM变化,并且这将影响闪烁测量。
在一个实施例中,如图7-8中所示,反射背景由两个可变强度光源(2)照射,所述两个可变强度光源(2)是DC驱动的(即, 恒流光源)。 光源被遮挡(4),使得这些灯不在相机的FOV中,并且不照亮PWM光源(5)。
为了获得最准确的测量结果,应使用经校准的闪烁计和经校准的亮度计来验证背景照明的准确性以及闪烁光源的频率和占空比。
7.3.1.2 测试设置-背景
对于闪烁测试,有必要练习相机的操作模式,包括多次曝光HDR模式,因为闪烁行为由短曝光时间引起。 对于没有可访问的操作控件的DUT,需要具有单独DC照明的背景,以产生具有适合触发测试相机的各种曝光模式的亮度水平的场景。
背景应为哑光白色、光谱均匀的目标,并填充摄像机的整个FOV。 此外,整个目标表面的背景均匀度应在20%以内,以确保亮度无明显变化。 可以使用灯箱或反射目标。 如果箱体或目标材料使用反射面,则应使用白色无光泽表面材料,反射率不低于80%。
作为用于背景照明的光源,可以使用DC光源或基于LED的照明设备。 LED应受电流控制。 (This可能导致白色LED的CCT的微小差异,在这种情况下可以忽略。)
注-对于鱼眼镜头相机,可以使用盒子或积分球,其中相机和PWM目标可以定位在内部。 如果使用这样的设置,必须确保测试设置中的结构、相机或任何其他东西对目标光水平没有影响。
照明背景的感兴趣的量是以cd/m2测量的亮度。 这可以通过使用校准的照度计直接测量,或者如果只有照度计可用,则可以通过除以π从以勒克斯为单位测量的照度粗略计算。 由于方程中的朗伯曲面被假设为理想的,因此这只能是粗略的近似。
![](https://kb.colorspace.com.cn/kb/wp-content/uploads/2023/07/image-91-1024x82.png)
其中,
- Lv 是背景亮度[cd/m2]
- Ev是照度[lux]
- p是表面反射系数
- a是视角
背景照明将需要在多个不同水平下操作以模拟日光和低光条件两者,以迫使自动曝光在各种场景中改变其DR设定点。 为了将相机驱动到期望的模式中,背景的内容可以用暗区域、具有暗块的灰度级或用任何其他必要的修改来修改。 图7-9显示了可能设置的示意图示例。
- 左上:纯闪烁光源背景目标;
- 右上角:闪烁光源上安装有灰度阶梯图卡的背景目标;
- 左下:背景目标,具有纯闪烁光源和背景中的灰色阶梯图;
- 右下角:背景目标与纯闪烁光源和黑色区域旁边。
对于弱光测试设置,背景照明应达到0.1 lux(月光水平)。 对于高光场景,背景照明应至少达到100,000勒克斯(明亮的阳光)。 如果测试了其他光照水平,则应将其记录在测试报告中。
针对100,000勒克斯和80%背景反射以及照射目标的光源的示例计算,以及在45°的视角下执行的测量:
注:如果DUT的完全手动曝光和增益控制是可能的,则可以选择使用DC光源来照亮测试目标。 DC灯的目的是模拟明亮的场景。 然而,在较亮的条件下,AEC算法通常选择短曝光时间以防止图像的过度曝光。 这会直接影响DUT LED闪烁性能。
7.3.1.3测试目标
PWM光源应位于摄像机FOV中心附近,以最大限度地减少镜头阴影效应。
调制光源应在发光体前面有一个漫射器。 扩散器应均匀,其表面的峰间变化不超过20%。 漫射器应具有哑光表面,以最大限度地减少DC光的反射。 不允许使用全息漫射器。
所有目标区域应由相同材料制成。 所有区域的图像面积应相等。 当选择测量ROI尺寸时,建议最小化测量的行数,特别是在滚动快门传感器的情况下,因为从多行测量可以一次平均多个相位。 建议将行数保持在给定应用程序/用例所需的最小级别。 如果不知道这一点,建议从单行进行测量。 为了减少图像噪声对测量的影响,建议将ROI宽度设置为目标区域允许的宽度。
为确保在摄像机DR范围内进行测量,建议调制光源除每个PWM区域外还有两个目标区域,如图7-10所示:
- – 参考“关”,目标材料与PWM区域相同,但未通电(图7-10(3))。
- – 参考“接通”,其中目标材料与PWM区域相同,但由恒定电流供电。 参考开启灯可以具有两种不同的模式:
- – 与PWM区域的等效光强水平匹配的亮度(图7-10(2))PWM的最大亮度(100%占空比-图7-10(1))
如在7.3.1.1中所提及的,替代设置是顺序地捕获参考“开”和“关”光水平。 在该场景中,相同的光源用于在顺序测试序列中捕获“开”、“关”和闪烁。 此方法适用于测试具有固定曝光控制和ISP的相机系统(例如, TM,白平衡)配置。 对于具有动态调整ISP的黑盒相机,顺序方法可能不适合,如动态AEC、TM等。会影响目标亮度并导致不可靠的测量。 对于黑盒相机,目标光源的大小应限制在图像高度的5%,以减少光源对AEC和TM算法的影响。
对于自动/黑盒相机,可以使用顺序方法,但需要在测试设置和测试顺序方面更加小心,以确保获得准确的测试结果。 对于全自动相机,闪烁光源可以引起连续曝光更新和/或连续TM更新。 这些影响显著地影响测量结果的准确性。 场景恒定性可以通过测量场景中固定目标的平均信号电平来评估,如图7-9所示。 因此,建议在“开”、“关”和闪烁光测试之间切换时,留出一个稳定期。 场景还应包括恒定光源,以在测试期间维持恒定的场景DR。 该恒定光源应至少与参考“开”灯一样亮。
7.3.2 试验安排
7.3.2.1照明
如前所述,本标准中定义的测试用例对于是否使用光度测量单位或辐射测量单位是不可知的。 根据摄像机使用情况,应使用一个或另一个单元。 应在测试报告中报告所使用的单元,但除此之外,用户可自由选择所考虑测试用例的最合适选项。
7.3.2.2 测试白光源
调制光源应具有与背景照明相同的光谱。 这是为了避免影响测量的白平衡问题。 对于白光源,应报告光源的光谱和CCT。
7.3.2.3 测试非白光
对于非白色光源,应报告受试光源的光谱和CIE色度坐标。 还应报告背景CCT。
7.3.2.4 动态范围
测试目标光源的亮度水平可以影响图像或视频数据中的闪烁水平,特别是对于HDR相机。 因此,应在整个DUT DR中执行多次测量。
图7-11中的图像显示了不同的伪影。 左边和中间:暗场景- HDR -压缩,右侧:明亮场景- HDR-压缩DUT在其DR上的响应可以通过按步骤顺序增加PWM光源的强度并在每个步骤测量闪烁来测试。当目标在图像中剪辑时,正下方的点(例如对于8位图像,刚好低于255)。最亮设置或最亮区域(如果使用灰色阶跃测试卡)至少为100,000 cd/m2。
摄像机覆盖的DR应作为测试输出的一部分进行报告。
注1:为方便起见,使用HDR步骤图卡(图7-11中的示例)是有益的,因为这允许从单个图像在整个DR中进行多次测量。 必须为每个测量的斑块计算参考亮度级
注2:必须注意尽量减少镜头炫光对闪烁测量的影响注3-为方便起见,使用HDR步进图卡是有益的,因为这允许从单个图像在整个DR中进行多次测量。 应计算每个测量贴片的参考光级。 应注意减少镜头炫光对闪烁测量的影响。
在整个闪烁测试过程中,测试设置DR应保持恒定。 如果DUT启用了自动曝光或动态TM(或类似功能),这一点尤其重要。 在这种情况下,如果场景亮度或DR在测试期间发生变化,相机将调整设置以进行补偿。 这将显著影响闪烁测量。
注意,信号饱和度可显著影响闪烁度量。 例如,过度曝光图像可能导致图像中的闪烁光源饱和。 这将意味着它不闪烁,但是过饱和通常是不期望的。 因此,当报告闪烁测试结果时,应报告信号饱和。
7.3.3 图像采集按照图7-8所示设置DUT和测试目标。
使用所需的频率、占空比和亮度级别配置PWM光源。 使用所需的亮度级别配置背景级别。
捕获闪烁光源的视频序列。 应考虑以下因素:
- 视频序列足够长,以确保至少捕获一个完整的相位扫描,并且捕获的相位扫描足够密集,以获得可靠的测量结果(详见附录K)。
- 捕获场景的整体亮度水平和DR在整个测量过程中保持恒定。
7.3.3.1 图像捕获和相位角
传感器对PWM光源的响应取决于传感器积分周期相对于光源信号何时开始。 这有时被称为LED闪烁信号的相位角。
为了很好地表征相互作用的行为,重要的是确保在可能的相的范围内进行足够的测量。
汽车市场上的大多数图像传感器都使用所谓的滚动快门集成:图像中的连续行以交错的方式开始和结束它们的积分周期。 从一行到下一行的积分时间的这种延迟具有许多含义,并且导致在全局快门图像传感器中看不到的各种效果。 其中之一是在存在脉冲LED照明的情况下的软带效应。 见图7-12。
标记为行1到行11的脉冲表示连续像素行的积分周期。 当它们在时间上从一行移位到下一行时,它们逐渐移入和移出脉冲LED源的接通时段。 这导致光源的测量信号电平的差异,如行轮廓所描绘的。
测试期间应至少捕获一次完整的相位扫描。 相位角覆盖范围应足够密集,以确保捕获所有闪烁条件。
注:如果测试设置可以使为LED供电的PWM脉冲与摄像机上的曝光同步,并进一步在两者之间引入相位延迟,则可以在测试中使用此功能。 如果试验使用了这种方案,则应将其与结果一起报告。 如果同步是不可能的,则有可能通过捕获足够长的视频序列用于测试并且通过避免是DUT帧速率的整数倍的PWM频率来实现足够的相位覆盖。
7.3.3.2 PWM目标频率
LED目标的频率(见图7-10)应包含在测试报告中。
注:建议在多个频率下进行测试,因为DUT闪烁测量值将根据LED目标频率而变化。 在汽车环境中,有许多类型的闪烁光源。 这些闪烁中的一些对于人类视觉(低于人类融合频率)(例如,车辆转向信号灯、紧急车辆照明等), 并且一些光源在人类融合频率以上闪烁(LED头灯、交通标志等)。 取决于应用,可能期望在这些频率范围中的任何一个频率范围测量闪烁。 因此,要测试的频率范围的选择是特定于应用的。 如果对闪烁的路标和/或车辆前照灯进行测试,EN 12966:2014规定标志的最小频率应大于90 Hz,因此在此应用中应考虑这一点。
7.3.3.3 PWM目标占空比
众所周知,闪烁光源的PWM占空比影响LED闪烁测量。 因此,PWM占空比应包含在测试报告中。
注:作为一般建议,最小推荐工作循环测试范围为10%至100%,间隔为10%。
7.4 试验条件和方法.反射闪烁
以下条款定义了评估闪烁的测试方法,其中闪烁光源照亮场景,但不在DUT的FOV内。
该条款适用于卷帘快门曝光和全局曝光设备,因为它仅取决于时间伪影(图像序列的脉冲),而不取决于空间伪影(每帧中的条带化),后者的影响仅存在于基于行的设备中。 带状效应的一个例子如图7-13所示。
测试设置如图7-14所示。
7.4.1 仪器和硬件
测试目标应该是由调制光源照明的均匀的中性色调区域。 这可以是具有集成调制光源的透射目标或由调制光源均匀照亮的反射目标。 Variance in lighting uniformity shall be no greater than ±5%, to ensure accurate tonal measurements. 对于鱼眼相机,可能需要弯曲或碗形目标。
由于条带伪影也与相机的曝光时间密切相关,因此还建议使用非调制光源来更改不具有(seIoueo xoq-y[pIq][onuoo oInsodxo [enueu])的相机的曝光时间
图7-14显示了测试配置。
- 1 -均匀目标
- 2 -脉冲光源照明目标(注意,背光目标是可接受的替代方案)
- 3 -DC光源
- 4 -挡板以将图卡照明与摄像机FOV隔离
- 5 – DUT
7.4.2 试验安排
测试设备应以固定的帧频捕获测试场景的一系列视频,每个视频的光源调制频率不同。为了在扩展的DR上进行测试,可以改变非闪烁光源以改变曝光时间,然后重复调制频率扫描。所捕获视频的持续时间应至少为几秒,至少足以看到带状伪影中的一些移动。当光源的调制频率接近测试设备的帧速率的整数倍时,时间调制将变慢。 当调制频率恰好是帧速率的倍数时,将不存在时间闪烁效应。 在卷帘快门使用情况下,静止带将在图像中可见。 最难测试的情况是当光调制频率与这些点之一相差几分之一赫兹时,因为验证它确实在变化可能需要相当长时间的视频。
7.4.3 光源频率
光源的频率(图7-14(1))应包括在试验报告中。
注:试验应在多个频率下进行,因为DUT闪烁测量值将根据光源频率而变化。 在汽车环境中,有许多类型的闪烁光源。 这些闪烁中的一些在可视范围内(例如车辆转向信号灯、紧急车辆照明等), 并且一些光源在人的视觉范围之上闪烁(LED头灯、交通标志等)。 取决于应用,可能期望在这些频率范围中的任何一个频率范围测量闪烁。 因此,要测试的频率范围的选择是特定于应用的。 如果对闪烁的道路标志和/或车辆前照灯进行测试,则EN 12966:2014 [B17]规定:
7.4.4 光源的占空比
闪烁光源的发光体占空比影响闪烁测量。 因此,工作循环应包含在测试报告中。
注:作为一般建议,最小建议占空比测试范围为10%至100%,间隔为10%。
7.5 数据分析
7.5.1 反射闪烁
目标区域的信号电平在其在视频的持续时间上变化时被用作用于后续分析的时空信号。原则上,ROI的行中的每个像素携带相同的时间调制信号。 在行曝光装置的情况下,此时间信号的相位对于不同行可不同,但行中的每一像素将携载相同信号。 如果多行是测量ROI内的样本,则闪烁相位将跨行平均,并且这可以导致ROI的时间信号轨迹的平滑。
这里的分析仅是对时间信号的分析,因此单个像素位置的测量的集合就足够了。 然而,为了增加时间信号的SNR,可以通过对经受相同曝光的一组像素位置求平均来获得信号。 因此,对于全局曝光设备,感兴趣的信号s(n)可以来自包含在视频中的目标区域中的像素的子区域的时空信号值的空间平均。 对于行曝光装置,s(n)可从目标区域内的单个行中的像素的时空信号值的空间平均值导出。
s(n)是以视频的帧速率(通常约30 Hz或60 Hz)采样的周期性时间信号。 如果设备在视频的每个帧期间以相同的时间表(无论多么复杂)将给定像素暴露于光,则其是周期性的。
该周期性信号的频率是拍频(即光源调制频率与视频帧速率的最接近整数倍之间的差)。 这是由于不受频带限制的规则采样信号的混叠效应。
7.6 关键绩效指标
7.6.1(发光体闪烁)闪烁调制指数(FMl,Flicker Modulation Index)
FMI用于描述图像传感器捕捉到的由于照明变化引起的亮度变化。该指数反映了照明变化对图像亮度的影响程度。
FMI定义为
![](https://kb.colorspace.com.cn/kb/wp-content/uploads/2023/08/image-4-1024x60.png)
对于给定的时间序列s(n),其中:
- FMI 是闪烁调制系数
- Xmax 是最大测量信号
- Xmin 是最小测量信号是s(n)是通过对测试视频序列的每一帧的ROI中的值求平均而生成的时间信号
其中Xmax是最大测量信号,Xmin是针对整个捕获的视频序列由图像传感器捕获的PWM光源的最小测量信号。
Xmax和Xmin应根据测量的时间序列s(n)计算。 当捕获信号s(n)时,建议每个测量值应为单行中30个连续像素的ROI的平均值。 建议这样做以平均图像噪声的影响,并防止死像素或卡住像素影响计算的度量的可能性。
当Xrefoff接近零时,FDI计算的韦伯对比项接近无穷大。 如果目标参考非常暗并且对比度或黑色电平校正设置非常激进,则Xrefoff可以接近零。 在测试设置过程中应小心避免这种情况。 如果Xrefoff等于零,建议FDI计算的实现报告错误。
7.6.2(发光体闪烁)闪烁检测指数(FDl,Flicker Detection Indicator)
FDI是一种度量,对于给定的相机、LED频率、占空比,其测量在所捕获的图像中在LED光与参考光水平之间将存在足够对比度的可能性。 参考电平可以是LED关闭时的LED。 可替代地,参考“关闭”水平可以是图像内的指定目标或区域。
测量FDI需要以下测试程序:
a)定义LED光和背景之间的最小对比度水平(flicker_contrast_threshold)以检测光
1) 本标准推荐使用Weber对比度进行测量。
2) 闪烁光源和背景照明水平之间所需的韦伯对比度取决于相机应用的要求。 例如,不同的应用、特征等。可能需要一定的对比度水平,以便可靠地将对象与背景区分开。 标准的用户可以自由确定适合其应用的flicker_contrast_threshold。然而,这所用的flicker_contrast_threshold必须包含在测试报告中。
3)在没有特定相机应用定义的要求的情况下,P2020建议最小Weber对比度为20%。
b)在感兴趣的频率范围内定义将测试所有曝光/光相位角的LED频率。
c)定义并报告测试设置的DR,即PWM光源之间的亮度差,在测试和参考“关”电平。
d) 使用参考、关闭,背景电平捕获图像/视频”。 这可以是单个帧或多个帧,用于收集“关/开”值的帧。 捕获脉冲光的视频序列。
f)测量每个帧中的像素水平与参考“关闭”水平之间的韦伯对比度。
g)对于整个测试视频序列,计算以足够的对比度捕获LED光的帧的数量。
h)将韦伯对比度大于所定义的阈值的帧数除以总的视频帧数。
因此,FDI计算如下:
![](https://kb.colorspace.com.cn/kb/wp-content/uploads/2023/08/image-5-1024x92.png)
其中:
- FDI是闪烁检测指数(Flicker Detection Indicator)
- Prob是经验概率
- Xmeans是测量的闪烁信号电平
- Xrefoff是参考背景(关闭)光电平
- τ是闪烁对比度阈值
由于FDI被表示为概率,因此最大值为1.0。 较高的值指示良好的闪烁减轻(即,相对于背景水平,可以检测更多的测量点)。 相反,低值指示较差的闪烁缓解。
取决于使用情况,可能期望理解识别光源开启可能花费的最大时间长度。作为说明性用例,考虑试图检测红灯在给定时间间隔内是否亮起的交通灯检测算法。 两种情况将说明这个问题。 在场景A中,FDI是0.5,但是在每隔一帧上检测光(即,在每隔一帧上检测光)。光出现和/或关闭每个可选帧)。 在场景B中,FDI也是0.5,但是在这种情况下,对于时间间隔的前半部分,当由相机成像时,光看起来关闭,并且在时间间隔的后半部分,光看起来关闭。 在这两种情况下,FDI都是0.5,但是在场景A与场景B中,对交通灯检测算法的影响可能非常不同。
这些行为应通过报告未检测到光源的连续帧数来表征。 7.7中的表7-2给出了如何报告的示例。
注意,闪烁减轻的解释是应用相关的。 比如说。 抑制人类可见的闪烁信号(例如, 转向信号)通常是照相机系统的不希望的行为。
Xmeas和Xrefoff应根据像素ROI的平均值计算。 建议这样做以平均图像噪声的影响,并防止死像素或卡住像素影响计算的度量的可能性。 对于Xmeas和外部参照关闭计算,建议至少取30个像素的平均值。
当Xrefoff接近零时,FDI计算的韦伯对比项接近无穷大。 如果目标参考非常暗并且对比度或黑色电平校正设置非常激进,则Xrefoff可以接近零。 在测试设置过程中应小心避免这种情况。 如果Xrefoff等于零,建议FDI计算的实现报告错误。
7.6.3(发光体闪烁)调制减轻概率(MMP)
MMP参考(调制减轻概率)是一种度量,对于给定的相机、LED频率、占空比和相位角,该度量测量在所捕获的图像中,当与参考光源相比时,相机将准确地再现光源信号水平的可能性。 当由非调制电源驱动时,参考光源是被测光。
为了测量MMPreference,需要定义阈值水平δ。δ参数是一个变量,定义了图像调制级别的可接受边界。 可接受的调制水平取决于相机应用的要求。 标准的使用者可自由决定适用于每种应用的δ值。 例如,它可以基于视觉感知标准或MV算法的要求。 试验报告中应包括所用的δ值。
在没有特定摄像机应用定义要求的情况下,本标准建议δ值为0.1。
应使用以下测试程序测量MMP:
- a)定义参考“ON”光和捕获的LED光水平之间的最小可接受增量,δ。
- b)在将测试所有曝光/光相位的感兴趣的频率范围内定义LED频率角度
- c)定义并报告测试的亮度水平。
- d)捕获/计算预期参考电平Xref_on,Xref_on是如果捕获PWM光的整个“开启”时段,则将由相机系统捕获的预期信号电平。
- e) 捕获脉冲光的视频序列。
- f)测量每个帧中的像素电平与参考“开”电平之间的增量。
- g)对于整个测试视频序列,以足够的精度计算捕获LED光的帧数,并除以视频中的帧数。
因此,MMP计算公式为:
![](https://kb.colorspace.com.cn/kb/wp-content/uploads/2023/08/image-8-1024x67.png)
其中:
- MMP是调制减轻概率
- Prob是经验概率
- Xmeas是测量的闪烁信号水平
- Xref_on是参考预期光水平是
- δ是可接受的阈值水平
MMP如图7-15所示。 图上的实线表示预期值,虚线表示验收阈值。
由于MMPreference是概率,因此最大值为1.0。 较高的值指示良好的闪烁减轻(即,更多的测量值落在接受阈值内)。 相反,低值指示较差的闪烁缓解。
7.6.3.1 Xref_on的计算
建立Xref_on的推荐方法是在恒流和PWM模式下匹配测试光源的强度。 发光强度可以通过适当的测量装置测量,例如辐射计、光度计等。
当测量PWM驱动光源的强度时,应注意确保测量设备的积分周期足够长以确保稳定的光强度测量。 如果测量设备太短,则测量的光强度可能由于与相机测量时光源闪烁相同的原因而变化。
由于占空比和施加电流之间可能没有直接的线性关系,因此建议测量每个占空比和测试LED亮度的匹配目标亮度。
7.6.3.2 测量注意事项
Xmeas和Xref_on应根据像素ROI的平均值计算。 建议这样做以平均图像噪声的影响,并防止死像素或卡住像素影响计算的度量的可能性。 对于Xmeas和Xref_on的计算,建议在单行中平均至少有30个连续像素。
为了计算Xref meam,测量持续时间应至少大于一个完整的相位周期(见附录K.1)。
7.6.4 (发光闪烁)MMP-平均值
MMP平均值(MMMmean)是针对给定相机、LED频率、占空比和相位角测量所捕获图像中的可能性的度量。 照相机将光源信号降低到相对于参考信号电平的限定信号范围内。 在MMPmean的情况下,参考信号电平应为受试光的信号电平的平均值。
与MMPreference类似,在测量MMP_mean时,有必要定义阈值水平δ。δ参数是定义图像调制水平的可接受边界的变量。 可接受的调制水平取决于相机应用的要求。 标准的用户可自由确定适合其应用的δ值。 δ可根据应用要求。 例如,它可以基于视觉感知标准或MV算法的要求。 试验报告中应包括所用的δ值。在没有特定相机应用定义的要求的情况下,本标准建议δ值为0.1。
应使用以下测试程序测量MMP:
- a)定义参考“开启”光和捕获的LED光水平之间的最小可接受增量,8。
- b)在将测试所有曝光/光相位的感兴趣的频率范围内定义LED频率
- 角度
- c)定义并报告受试DR。
- d)捕获脉冲光的视频序列。
- e)计算参考水平Xref_mean,Xref_mean是测试期间的脉冲光源所成像的图像的测量的平均信号水平。
- f) 测量每帧中的亮度水平和Xref_mean之间的差值。
- g)对于整个测试视频序列,计算其中以足够准确度捕获LED光的帧的总和,并且除以视频中的帧的总数。
因此MMP以如下方式来计算:
![](https://kb.colorspace.com.cn/kb/wp-content/uploads/2023/08/image-30-1024x64.png)
其中:
- MMP是调制减轻概率
- Prob是经验概率
- Xmeas是测量的闪烁信号水平
- Xref_on是参考预期光水平是
- δ是可接受的阈值水平
MMP_mean如图7-16所示。 图上的实线表示预期值,虚线表示验收阈值。
应根据像素ROI的平均值计算Xmeas和Xref_mean。 建议这样做以平均图像噪声的影响,并防止死像素或卡住像素影响计算的度量的可能性。 对于Xmeas和xref on计算,建议至少取30个像素的平均值。
为了计算Xef平均值,测量持续时间应至少大于一个完整的相位周期(见附录K.1)。
7.6.5 闪烁拍频(FBF,Flicker Beat Frequency),针对反射闪烁
FBF是指由相机系统捕获的调制光源的频率,FBF是视频序列内的调制频率,而不是物理光源的频率。
FBF是CV算法的视觉显著性和功能影响的关键参数。 因此,FBF应作为闪烁评估的一部分进行量化。 然而,FBF是相机帧速率和调制光源的频率的函数。 因此,FBF不应被视为相机系统本身的KPI,并且不提供用于比较相机系统的有用机制。
有两种推荐用于定量FBF的方法,如下所述。
7.6.5.1 计算
如果相机帧速率和光源频率是已知的,则FBF可以用以下公式计算:
![](https://kb.colorspace.com.cn/kb/wp-content/uploads/2023/08/image-32-1024x48.png)
其中:
- FBF是闪烁跳动频率(flicker beat frequency)
- fscene是光源频率
- fcamera是相机频率
因此,例如,假设帧速率为60fps,FBF将为:
7.6.5.2 测量
FBF也可以直接从相机输出测量。 一个示例方法是,在多个连续帧上捕获闪烁光源的图像内的ROI的平均信号水平,并且基于所生成的时间序列的FFT来计算主频率。
如果使用此方法,请确保已知传感器捕获速率和视频回放速率。 例如,图像传感器可以以30 fps捕获,但是视频捕获和/或回放可以以10 fps。 在这种情况下,FBF测量将不准确。
还要注意,一些相机系统以非常接近但不完全相同的帧速率操作,例如,30或60 FPS。 在这种情况下,在这些频率下的光源下,仍然会有带随时间的移动。
7.6.6 FMI (Flicker Modulation Index)闪烁调制指数,针对反射闪烁
FMI被定义为:
![](https://kb.colorspace.com.cn/kb/wp-content/uploads/2023/08/image-34-1024x61.png)
其中,
FMI是闪烁调制指数,
Xmax是最大测量信号,
Xmin是最小测量信号
其中Xmax是最大测量信号,Xmin是针对整个捕获的视频序列由图像传感器捕获的PWM光源的最小测量信号。
注:这基本上与第7.6.1条中定义的度量相同。
Xmax和Xmin应根据像素ROI的平均值计算。 目的是平均图像噪声的影响,并防止死像素或卡住像素影响计算的度量的可能性。 对于Xmax和Xmin计算,建议在一行中至少取30个连续像素的平均值。
当Xref_off接近零时,FDI计算的韦伯对比项接近无穷大。 如果目标参考非常暗并且对比度或黑色电平校正设置非常激进,则Xref_off可能接近零。 在测试设置过程中应小心避免这种情况。 如果Xref_off等于零,建议FDI计算的实现报告错误。
7.6.7 反射闪烁(Reflectance flicker) 暗带高度(dark band height)
高度(即图像行数),参见下图。 仅适用于卷帘快门传感器。 从对比度变化的中点开始测量(见图7-17(b))。
图7- 17-KPI图示-(a)图像,(b)典型曲线
暗带高度可以以下单位报告:
- 图像行数
- 图像高度百分比
- 输出显示上的大小
7.6.8 反射闪烁(Reflectance flicker) 亮带高度( light band height)
高度(即图像行数)的“光带”,参见下图。 这种现象仅发生在卷帘式快门传感器上。 测量应从对比度变化的中点开始(见图7-17)。
光带高度可以以下单位报告:
- 图像行数;
- 图像高度百分比;
- 输出显示上的大小.
7.6.9 反射闪烁 (Reflectance flicker) FBF
光调制的时间频率,以Hz表示。 对于卷帘快门,这是波段在图像中移动的速率。
对于全局快门传感器,这是图像亮度随时间变化的频率。按照惯例,正数表示观察者看到的波段在图像中向上或向右移动。 应报告条带运动方向(左/右或上/下)。
如子条款7.6.5所示,如果相机帧速率和光调制频率已知,则可以先验地计算FBF。 否则,可从视频流计算FBF,如子条款7.6.5中所描述。
7.6.10 反射闪烁(Reflectance flicker)边缘上升距离(edge rise distance)
应报告暗带和亮带之间10%-90%的边缘上升时间。 建议测量Y、R、G和B颜色通道中的边缘上升时间,或相机的线性化原始输出。
边沿上升时间可以用以下单位报告:
- 图像行数;
- 图像高度百分比;
- 输出显示上的大小.
7.7 数据报告和报告模板
7.7.1 报告要求
对于FOV内闪烁源的测试程序,如7.3中所定义。 结果应报告如下表:
FDI和MMP对比度限值的报告是强制性的。
(即,方程(7-4)中的τ,以及方程(7-5)和方程(7-6)中的δ。
像素饱和/过度曝光的报告也是强制性的,因为它可能导致闪烁度量的低估。
建议报告闪烁信号的时间序列图。
此外,可以绘制度量,如下图7-18所示:
对于FDI,可以报告关于未检测的连续帧数量的附加细节,如表7-2所示。
对于子条款7.4中定义的FOV外闪烁源的测试程序,目标亮度应在直流和闪烁源开启的情况下进行测量。结果应按表7-3所示进行报告。
下表7-4显示了应报告的摄像机配置参数。
请注意,对于所有测试报告,如果闪烁信号处于饱和状态,则应进行报告。
被测闪烁光源的特性将对测试结果产生重大影响。 为确保测试设备设置中测试结果的一致性,建议报告受试闪烁光源的参数,如表7-5所示。
附录A、B略。
联系我们:
如果您有什么问题或想要了解的讯息,欢迎与我们留言,也可邮件咨询: sales@colorspace.com.cn,分享您的看法或提出您的问题!
![正印科技](https://kb.colorspace.com.cn/kb//wp-content/uploads/2022/12/%E6%AD%A3%E5%8D%B0%E7%A7%91%E6%8A%80%E5%BE%AE%E4%BF%A1%E5%85%AC%E4%BC%97%E5%8F%B7%E4%BA%8C%E7%BB%B4%E7%A0%81-%E6%9B%B4%E6%8D%A2logo1-1024x1024.jpg)
Was this helpful?
4 / 0