IEEE P2020 汽车成像白皮书（Automotive Imaging white paper）

Abstract（摘要）

IEEE-SA P2020汽车成像标准工作组的成立是为了解决汽车成像系统的图像质量测量方面存在的相当大的模糊性，包括基于人类和计算机视觉。本白皮书概述了该小组的目标、成就、原理和计划，该小组已开始着手制定新的标准1。

图像质量对汽车观察和汽车计算机视觉应用都起着至关重要的作用，而今天的图像评估方法不一定能满足这些应用的需要。目前，行业内还没有一个统一的方法来衡量汽车图像质量。IEEE P2020工作组正试图弥补这些缺陷，通过连接该领域的人员，确定现有标准中的差距，并努力通过创建一套连贯的关键性能指标来解决这些问题，根据这些指标可以以符合其预期用途的方式评估相机系统和组件。本白皮书概述了当前的活动，包括初步的差距分析和完整的标准发布后可能出现的细节。

Acronyms and abbreviations（首字母缩写词和缩略语）

在阅读本白皮书时，以下的首字母缩写词和缩略语清单将是有用的。

ADAS    高级驾驶辅助系统 

ADC      模数转换器 

AEC      自动曝光控制 

AI         人工智能 

AWB    自动白平衡 

CaaS    汽车即服务 

CDP      对比度检测概率 

CFA      彩色滤光片阵列 

CMS     摄像监控系统 

CPIQ     摄像手机图像质量（用于IEEE Std 1858-2016 [5]）。 

CRA      首席射线角 

CSP      分色概率 

DR        动态范围 

ECU      电子控制单元 

FoV      视野/视觉 

FUN 忠实性、实用性和自然性 

GDP 国内生产总值 

HDR 高动态范围 

IQ 图像质量 

ISP 图像信号处理器 

JND 刚可分辨的差异 

KPI 关键性能指标 

LTM 局部色调映射 

MTF 调制传输功能 

OECF 光电转换功能 

PWM 脉冲宽度调制 

QE 量子效率 

QoE 体验质量 

RVC 后视摄像头 

SAE 汽车工程师协会 

SNR   信噪比 

SVS 环视系统 

VGA 视频图形阵列（定义为640 x 480分辨率的显示器） 

Overview(概览）

电话曾经是用来通话的，而汽车曾经是用来驾驶的。事情已经发生了变化。手机现在是无处不在的数字助理，有摄像头、传感器和广泛的连接；而汽车即将成为多传感器、多摄像头、多模式的自主人工智能（AI）平台。有许多因素推动了我们的汽车的这种急剧演变–最值得注意的是，它能够提高安全性，实现更有效的城市规划，并创造新的颠覆性商业模式。我们车辆的这种急剧演变的关键驱动力是提高安全性。

世界卫生组织最近指出，全世界每年有超过125万人死于道路交通事故，还有2000万至5000万人遭受非致命性伤害，其中许多人因受伤而致残。这给个人及其家庭和整个国家带来了巨大的经济损失，这相当于大多数国家国内生产总值（GDP）的3%左右[1]。

先进的传感技术将使车辆之间的距离比人类控制的车辆更近，减少了必要的车道宽度，为更宽的人行道、自行车道和其他设施腾出了空间。随着城市从要求大量土地用于停车和流通的条例中过渡出来，他们将需要确定如何通过土地使用和分区的新方法最好地利用这些释放出来的空间（美国规划协会[2]）。 此外，向自动驾驶汽车的过渡在新的交通商业模式方面带来了巨大的机会（Gao等人[3]）。汽车即服务（CaaS）也将为全球大部分人口提供汽车移动服务（Business Wire [4]），因为不需要驾照，而且它将被证明是一种负担得起的交通解决方案。

虽然摄像头对于车辆感知和觉察周围环境至关重要，但到目前为止，汽车行业还没有一个一致的方法来衡量图像质量。

目前有一个关于手机摄像头图像质量的标准–IEEE Std 1858[5]。然而，这个标准通常不适用于汽车需求，此外，其他图像质量标准，如EMVA1288[6]或ISO12233[7]，在涉及到汽车图像质量的用例时，也是不足的。汽车成像由于其不同和独特的成像条件（鱼眼、多摄像头、高动态范围（HDR）、温度范围等）而带来了独特的挑战，这些挑战在现有的方法中没有得到充分的解决。因此，IEEE P2020工作组[8]设定了塑造汽车图像质量的相关指标和关键性能指标（KPI）的目标，使客户和供应商能够有效地定义、测量和沟通其成像系统的图像质量。

图像质量（IQ）对观察和计算机视觉应用都起着至关重要的作用。图1显示了一个多摄像头汽车系统的通用架构。与工业机器视觉系统相比，汽车摄像系统必须处理无限制的环境，即广泛的天气、照明和温度条件。

对于基于观看的相机系统（图1中的路径1），输出的图像必须满足图像质量的愉悦性，这与图像的视觉吸引力有关，是体验质量（QoE）或用户满意度的一个关键方面。然而，在这样的系统中，智商的有用性方面也是至关重要的，它与视觉图像所传达的有用信息量有关（例如，阴影区域的可见细节）。在基于观看的相机系统的智商调整中，平衡愉悦性和有用性是一个挑战，因为这两者并不总是相关的。

对于基于计算机视觉的系统（图1中的路径2），单个产品的硬件组件配置[镜头、图像传感器、图像信号处理器（ISP）等]，它们的参数化，以及整个系统的IQ调整，都必须优先考虑有用性。在此，需要注意的是，生物视觉和计算机系统对有用信息的解释方式不一定相同。

观察和计算机视觉摄像系统都是许多信息娱乐、驾驶辅助和自动驾驶功能的组成部分。对于其中一些应用，图像是人类驾驶员或计算机视觉系统识别和应对其环境的主要输入。因此，制定有意义的关键绩效指标来量化和描述用于此类应用的摄像系统的性能和极限是极其重要的。

汽车工程师协会（SAE）在SAE J3016[9]中定义了五个级别的驾驶自动化，分配给该系统的驾驶功能水平不断提高，见图2。这些自动驾驶车辆将使用基于不同技术的传感器套件，其中摄像系统是不可或缺的一部分。随着自动驾驶系统越来越多地承担起对人类生命的责任，开发标准指标来衡量这些摄像系统的性能和图像质量的极限变得十分迫切。

A. Goals of this white paper（本白皮书的目标）

本白皮书是IEEE P2020汽车成像工作组的第一份出版物。从IEEE P1858相机手机图像质量（CPIQ）兄弟小组中吸取的教训是，在一个快速变化的技术领域中，一个雄心勃勃的标准开发工作有许多不同的利益相关者，可能需要多年时间才能得到批准和发布。

在我们最初的面对面会议之后，很明显，仅仅定义相关的问题和列出公开的挑战就已经是一个值得发表的有用成果。通常情况下，这些信息将与实际的IEEE P2020标准一起发布，并在新的图像质量指标出台后才会出现。

和新的相关关键绩效指标的定义，这可能仍然需要一些时间。因此，独立于IEEE P2020标准的出版阶段，我们决定以中间出版物为目标，快速传达工作组在理解汽车图像质量方面取得的进展。本白皮书是这些出版物中的第一个。

因此，本白皮书的目标如下

1）提高对汽车应用的图像质量没有很好的定义的认识，缺少关键的规范指标，导致对该问题的重复工作。本白皮书有两个部分来提高人们对图像质量标准缺失的认识。第1-C节介绍了启动IEEE P2020工作的动机。这包括来自项目授权请求（PAR）的信息。第2节介绍了几个问题陈述；每个问题陈述都是每个分组的调查结果的总结。在第3节中，提供了对现有图像质量标准的差距分析。这是一个与汽车图像质量相关的关键绩效指标的清单，并参考了现有的标准，同时也提供了一个没有标准的关键绩效指标的指示（即标准中的差距）。此外，现有的标准通常很难或不可能应用于汽车应用，或者它们缺乏某些关键特征（例如，在ISO 12233[7]中，没有涵盖HDR的评估）。所提出的清单包含了我们认为缺失或不完整的元素的评论。

2) 提高人们的认识，IEEE P2020工作组正试图尽可能地弥补这些不足之处。 现在是时候开发一种客户和供应商可以用来有效描述汽车图像质量要求的共同语言了。本出版物试图提高人们对这种努力正在进行的认识。

3）与其他已经从事类似挑战的人联系。由于这一技术领域正在迅速发展，并且由于巨大的资源涌入汽车市场的新相机系统的开发，全世界有许多人和组织已经在研究汽车图像质量的许多个别方面。适用于标准的目标也适用于标准本身的发展–通过连接在该领域工作的人并提高协同效应来避免重复的努力。本白皮书指出了汽车图像质量的问题状态，因此，本出版物的一个重要目标是将那些已经在研究解决方案的人联系起来，以填补空白。

4）吸引更多的人帮助IEEE P2020的工作。本白皮书也是一个呼吁，希望吸引更多的人，建立合作关系，帮助塑造未来的汽车图像质量标准。

B. Structure of this white paper（本白皮书的结构）

本节的其余部分将更详细地解释成立IEEE P2020工作组的动机、IEEE P2020的长期目标，以及工作组目前的结构及其不同的分组。实际内容将在接下来的两个主要部分介绍。

      第二节中给出了每个分组的问题陈述。

      第3节给出了差距分析。

第二节描述了每个分组的活动，并将该领域的挑战和缺失的标准制定为一个问题声明。目前，在后面提到的六个分组中，有三个正在活动，致力于定义新的质量指标–分组1：LED-闪烁，分组2：观看的IQ，以及分组3：计算机视觉的IQ。

问题陈述是对每个分组所追求的工作主旨的概括性概述。第3节的差距分析中进一步给出了缺失指标和缺乏标准的详细清单，其中表1列出了被认为对汽车图像质量很重要的关键绩效指标。在适用的情况下，引用了现有的标准

引述。在某些情况下，该表已经提出了新的指标来补充或取代现有的KPI。差距分析列表是工作组在编写本白皮书之前和期间合作讨论的结果。我们强烈希望这份现有标准的清单以及对所缺内容的说明，对任何在汽车图像质量领域工作的人都是非常有价值的。

C. Motivation for IEEE P2020（IEEE P2020的动因）

IEEE P2020汽车成像工作组在比利时布鲁塞尔举行的AutoSens 2016会议之前的全体会议上成立。 在讨论了相关的行业挑战后，这样一个小组的基础产生于汽车成像社区的利益相关者的需求。

自从第一台汽车摄像头安装在车辆上以来，原始设备制造商（OEMs1）和12级公司缺乏一种共同的语言来描述车辆的图像质量。一级公司无法与二级组件供应商交换明确反映原始设备制造商愿望的要求。对一些部件的高度限制性方面制定了标准，但对于汽车视觉系统的图像质量的大多数突出方面，该行业缺乏经验上可验证的、可重复的、共同认可的描述。

在缺乏对图像质量的明确描述的情况下，各利益相关者独立地退回到启发式的描述中，仅举一例。”图像质量就是FUN”，其中FUN是Fidelity, Usefulness, and Naturalness的缩写[10]。虽然提供了一定程度的图像质量语义，但这是一个不充分的规范。这种模糊性使得项目的成本更高，项目中的紧张关系更容易出现。

这种模糊性始于缺乏对图像质量本身的基本描述。虽然存在性能标准的组件级描述，但其属性既不是图像质量的单调指标，也没有充分阐明图像质量。这方面的例子包括镜头的MTF特性（使用客观的物理单位，即每毫米的周期）或ColorChecker ®图表3上记录的颜色值的差异（使用客观的物理单位，即色彩空间中的可察觉差异）。

经过几次个人和专业层面的接触，在AutoSens会议环境的推动下，一群汽车成像专业人士组成了IEEE P2020工作组。

2017年5月21日，在底特律举行的AutoSens 2017会议上，对IEEE P2020的状况进行了概述，作为该小组在底特律的推广工作的一部分。

该工作组在行业内的推广工作[11]。

D. IEEE P2020 overview and long-term objectives（IEEE P2020概述和长期目标）

IEEE P2020标准的概述和长期目标总结如下。

1. 范围: 本标准涉及有助于汽车高级驾驶辅助系统（ADAS）应用的图像质量的基本属性，以及确定与这些属性有关的现有指标和其他有用信息。它定义了一套标准化的客观和主观测试方法，用于测量汽车摄像头图像质量属性。此外，它规定了工具和测试方法，以促进OEM和一级系统集成商和组件供应商之间关于汽车图像质量的标准交流和比较。
2. 目的：本标准规定了测量和测试汽车图像质量的方法和指标，以确保一致性并建立跨行业的参考点。
3. 项目的必要性：照相机在汽车应用中的使用数量越来越多。 这些系统中的大多数都是独立开发的，没有标准化的校准或图像质量的测量。消费者在使用摄像头嵌入式系统时没有标准的参考点，OEM或一级开发商也无法对摄像头系统进行并列比较。
4. 该标准的利益相关者：汽车OEM，汽车一级供应商，图像处理软件和硬件公司，光学公司，传感器制造商，安全认证机构，终端用户（司机）。

E. Subgroups（分组）

以下是在IEEE P2020工作组内成立的各个分组的介绍。这些项目的概况

项目的概述见图3。

       分组0 – 图像质量要求/规格标准

       分组1–LED闪烁标准

       分组2 – 用于观看的图像质量

       分组3 – 用于计算机视觉的图像质量

       分组4 – 相机子系统接口

       分组5 -图像质量安全

      分组6 -客户对图像质量的看法

2.  Problem statement（问题描述）

本节按活跃的第1、2、3小组描述调查结果。

A. Subgroup 1 — LED flicker standards（分组1-LED闪烁标准）

1) 动机。LED闪烁是在数字成像中观察到的一种假象，即光源或成像场景的某一区域出现闪烁。在视觉系统显示器上观察到的光线可能会出现开关，或在亮度或颜色方面进行调制，尽管光源本身对人类观察者来说是恒定的。图4显示了一个LED闪烁的例子。

LED闪烁在本质上是一个时间/空间采样问题。当光源由脉冲宽度调制（PWM）信号供电时，它就会发生。LED灯可能每秒脉冲几百次，占空比不同（即一个周期中灯处于活动状态的部分），以调整其表面亮度。在频率大于90赫兹的情况下，对于大多数人类观察者来说，光线通常会显得恒定。然而，捕捉脉冲光源的相机可能需要比PWM信号的时间 “ON “周期更短的曝光时间，以防止图像的过度曝光，特别是在明亮的环境光条件下。一个说明性的例子

图5[12]中显示了导致曝光缺失的时间相位不匹配的例子。

2) LED闪烁的影响：PWM闪烁的影响因应用不同而不同。对于较简单的观察应用（例如，后视停车辅助摄像头），LED闪烁可能被认为是一种烦扰，或者在最坏的情况下会分散司机的注意力。 然而，LED闪烁有可能引发光敏性癫痫患者的癫痫发作。对于摄像监控系统（CMS：一种可选择取代传统汽车后视镜的系统）来说，闪烁的大灯可能被误认为是转向灯和指示灯，或者如报告所述，可能导致司机误认为后面的车辆是紧急车辆。

当一个场景主要由脉冲光源照亮时，也可能发生闪烁。在这种使用情况下，一个大的区域或整个图像区域可能会受到影响。一个典型的例子是一个由脉冲信号驱动的汽车头灯或路灯照亮的场景。闪烁伪影具有时间和空间上的特点。例如，如果使用滚动快门图像传感器，可能会出现带状伪影，即图像上的暗带。 图6中显示了带状效应的一个说明性例子。 如果使用全局快门读出结构，图像的亮度将在每一帧之间变化。

对于基于计算机视觉的ADAS或自动驾驶应用，其后果可能更加严重。LED闪烁可能会导致交通信号、速度标志或安全信息的错误识别。还应注意的是，LED闪烁会对自动曝光（AE）算法产生不利影响，造成整体图像亮度的振荡。分组1的目标如下。

      记录闪烁的根本原因和表现形式。

      捕捉使用案例和闪烁的潜在影响。

      定义标准的测试方法和衡量闪烁效应的关键绩效指标。注意，KPI和测试指标旨在适用于黑盒测试的系统。

      将客观的闪烁指标与闪烁的主观（视觉）体验联系起来。

      将客观的闪烁指标与计算机视觉性能联系起来。

B. Subgroup 2— Image quality for viewing（用于观看的图像质量）

1) 动机。 关于观看图像质量的第2小组将参与制定有意义的关键绩效指标，以描述汽车摄像头的图像质量，包括后视摄像头（RVC）、摄像头监控系统（CMS）和环视系统（SVS）及其组件，如镜头、彩色滤光片阵列（CFA）、传感器、图像信号处理器（ISP）和显示器。完整的成像链（从玻璃到玻璃，见图1）将被覆盖，一个初步的方法是在显示之前测量信号，假设一个参考显示器和观看设置被定义和适用（显示器尺寸、观看距离、环境照明等）。采用自下而上的方法，首先在组件层面上设计指标，并将系统性能作为多个组件的串联来推导，从而从组件层面的关键绩效指标中获益。

2）问题陈述。如果考虑到不同的用例，观看应用的图像质量要求很难汇聚成一个单一的设置。 进一步需要与新兴的计算机视觉应用共存，使这个问题更加困难，强加了相互冲突的目标。

例如，即使在纯粹基于观看的系统中，用户也会通过两个相互矛盾的判断来判断图像

判断。通过其有用性（如显示的细节）以及视觉美学（如较少的噪音）。 不同的图像质量方面有助于形成一个令人愉悦的图像，但也可能相互冲突，例如，噪声与亮度、锐度、纹理与色彩饱和度。图7显示了根据不同的采集设置和/或处理方法，图像可能看起来如何的例子。                                                                                                                                    在汽车成像的背景下，用于查看的图像质量关键绩效指标需要能够同时满足这些相互竞争的目标。这很有挑战性，它可能在很大程度上取决于驾驶者在观看摄像机视觉系统提供的图像时所执行的任务。                                                                                                                                  汽车智商关键绩效指标需要反映图像使用的这种冲突性目标。

在汽车环境中纳入目前的图像质量标准有一些主要的挑战，如以下几点：

      鱼眼镜头、聚焦、分辨率–使用具有宽角度视场和固定聚焦的鱼眼镜头，加上相对低分辨率的图像传感器，带来了具体的挑战。在这些情况下，典型的测试图尺寸和设置都太小，导致图像没有足够的像素数量，无法进行有力的分析。减少测试图表和相机之间的距离会带来新的问题。一方面，如果测试图被放置在覆盖整个图像区域的距离上，这个距离可能变得比相机设计的景深更短，导致图像模糊。另一方面，鱼眼镜头通常会出现镜头失真。这就引入了其他的问题（用现有的工具对图表的补丁自动检测失败，图像内不同位置的补丁尺寸失真，等等）。 简单地增加测试图表的尺寸并不能解决问题，还会带来其他的挑战，例如，在整个图表区域实现均匀的照明，这往往是大多数图像质量标准评估程序所要求的。

      HDR – 高动态范围成像器经常与局部色调映射图像处理相结合。这就产生了纹理和局部对比度保存、色彩保真度/稳定性、信噪比稳定性（见图8）和运动伪影的挑战。

      多机位–在SVS等应用中，来自于多个具有重叠视场的摄像机的图像采集被组合或 “拼接 “在一起。由于每个摄像机和场景的捕获部分都有各自的特点，即不同的视场、局部处理、不同的和混合的摄像机光照，因此创建的虚拟图像评估是有问题的。

      分布式 – 分布式系统有一些靠近相机的本地图像处理和一些ECU的集中处理。局部处理（如色调映射）不保留相机的原始信息，因此不能反过来在中央ECU中进行后期恢复（如光泽压缩/量化）。

       双重目的 – 同一台摄像机可能要同时满足观察和计算机视觉的需要。

       外在组件 -系统级图像质量受车辆的额外组件（灯光、挡风玻璃、保护罩窗等）的影响。

       视频 -汽车系统使用视频图像。 然而，目前的许多成像标准最初是针对静态图像应用的，通常不包括运动视频图像质量。

      照明–汽车使用案例中场景照明的巨大差异给测试带来了额外的挑战（例如氙气灯、D65灯、阳光、各种LED路灯）。

另一个问题是，现有的标准不一定涵盖在不受控制的使用环境中出现的具体挑战，而汽车摄像头应用需要在这种环境中运行。

图8显示了使用多曝光类型的HDR操作的相机的典型SNR与照度曲线。当一个高动态范围的场景（例如，隧道入口/出口）被捕获时，在图像的中间信噪比下降点以上的区域可能会出现一个反直觉的现象。 在这些下降点以上的明亮区域将表现出比低亮度区域更高的噪声。这意味着在中间明亮区域的噪声比在黑暗区域的噪声要大。在应用需要一定的最低信噪比水平的情况下，这些中间的下降成为一个问题，因为现有的HDR标准没有考虑这些中间的信噪比下降。图8显示了一个在优化配置下运行的传感器的信噪比曲线例子，以实现在这些下降点改善信噪比。这就导致了动态范围从144分贝下降到120分贝，根据操作调整需要，以达到改善整体信噪比水平。

图像内的信噪比空间下降也可能在使用宽角视场鱼眼镜头的相机中观察到。通常情况下，使用广角视场镜头的相机具有高度的镜头阴影，这意味着信号在径向上下降，在某些情况下下降到低于50%的水平。 如果我们考虑一个SVS，其中通常有四个不同的宽视场相机图像被处理，以产生一个来自车辆上方的虚拟鸟瞰图像，亮度校正被执行以补偿较暗的周边图像（如图9所示的图像）。镜头阴影校正被应用于减轻来自不同摄像机的图像的边界效应，这反过来又导致了信噪比的不均匀性，因为较高的增益被应用于鱼眼镜头的外围区域。这种非均匀的空间变化效应变得非常突出，特别是对于多摄像机组合的SVS来说。为了补偿图像周边区域的镜头阴影，较高的增益会导致缝合区域的边界产生大步的可见噪声，在某些情况下，观察这些图像时，会达到可感知的水平。

通常，在现有的IQ标准中，计算指标之前的一个主要要求是输出值的线性化。这涉及到光电子转换函数（OECF）的计算和对任何系统非线性的相应修正。带有HDR和局部色调映射的典型汽车摄像头系统是一个非线性系统。在严格控制的参数下，输入信号的线性化仍然是可能的，但在典型的汽车应用案例中，例如，在高动态范围的场景中，同样的传统线性化程序不能再使用。由于许多KPI的计算是假设输出信号的线性关系，OECF的不可用对几个传统的IQ标准的计算有很大的影响，如锐度、噪声纹理等。

此外，由于成像器的高动态范围，对镜头的光学设计产生了技术挑战。镜头内光线的重复反射将导致鬼影，如汽车的前灯。由于我们使用的是结合了LTM（局部色调映射）的HDR传感器，车灯的鬼影将被放大到同一拍摄图像的黑暗区域的显著水平。对于CMS相机系统，这将导致在实际图像中出现两到三对车灯，这可能会对司机产生误导。不幸的是，成像器的DR和LTM性能越高，这些重影问题就越严重。

在汽车应用中使用基于枯叶测试图的纹理测量指标（由CPIQ使用）时，会出现一些挑战。同样，宽阔的视场和低分辨率将无法提供足够的像素数来进行稳健和可靠的测量。减少距离或增加目标尺寸将扭曲明确的频率分布和测试图内的枯叶的几何不变性，因为高镜头失真。通常情况下，低纹理KPI值是由图像中的高降噪过滤造成的。然而，如果我们现在有一个图像，由于信噪比下降，信噪比不是照度的连续函数，因此降噪过滤不一定在整个图像上平等进行，那么我们不得不问：我们能从目前CPIQ标准中描述的测量方法中获益多少？

考虑到众多的用例和实现良好的关键绩效指标的复杂性，第2小组决定首先以自下而上的方式开发以下易于实施的指标，然后再进一步转向复杂的关键绩效指标。

       动态范围、铭感度、景深、焦点稳定性、暗电流

我们的最终目标是设计关键绩效指标，以描述图像质量，包括对汽车观察相机系统的愉悦性和实用性；并将在下一阶段进一步处理新的关键绩效指标。

C. Subgroup 3— Image quality for computer vision（用于计算机视觉的图像质量）

1) 动机。 基于视频的环境识别有望成为高级驾驶辅助系统（ADAS）或自动驾驶系统的主要组成部分之一。环境视觉数据的获取过程是一个复杂的效应链的结果，也被称为成像链，它从光源开始，以存储在存储器中的最终图像结束。在这个信息传输链中，信号受到各种中间干扰，因此信号质量的下降总会在一定程度上发生。 重要的是，系统的设计要使关于世界的足够的相关信息仍然保留在链中。因此，很明显，需要定义有意义的关键绩效指标。由于计算机视觉的任务是如此的多样化，并以许多和不断发展的方式来解决，现有的标准，如EMVA 1288 [6]，通常被限制在组件级的特征。 然而，为了涵盖特殊的汽车用例，必须考虑沿着成像链的完整系统。现有的图像质量国际标准，虽然是基于应用的，但几乎只关注人类消费的数字成像案例。汽车成像的机器视觉用例非常多样化，在关键情况下失败的惩罚非常严重，因此现有的标准对计算机视觉的汽车应用是不够的。对于人类消费来说，可能会导致仅可接受的图像质量下降，但对于计算机视觉系统来说，可能会突然导致不可接受的失败。

作为一个例子，考虑图10中所示的情景，其中一辆车从阳光直射下进入隧道。该车辆有一个肮脏的挡风玻璃，面向前方的摄像机基本上被雾霾和/或反射在表面引入的遮蔽眩光所蒙蔽。因此，场景特征（即汽车）的可识别性大大降低。一旦车辆的挡风玻璃进入隧道，汽车就变得清晰可见，而且遮挡的眩光也不再存在了。挡风玻璃上的污垢等情况将大大降低相关物体（如汽车）的检测概率，而不考虑分析视频资料的系统的具体情况。在这种情况下，利用这些视频资料和其他传感器模式的智能驾驶系统是不允许失败的。 因此，为这些系统提供来自环境的所有必要信息，以便做出正确的决定，是至关重要的。

2）问题陈述。传统上，成像链中组件的评估和表征是由每个组件领域的特定专业知识所涵盖。例如，光学的关键绩效指标，如调制传递函数（MTF）和诸如散射光在光学系统中的各种影响的量化，与图像传感器的关键绩效指标如信噪比（SNR）和动态范围（DR）并不直接兼容。组件之间的重叠效应往往在整个组件链中没有一个共同的统一评价标准。按照图10的例子，一个标准的方法可能是量化肮脏的挡风玻璃给这种成像情况增加了多少遮挡的眩光，并让视觉系统设计者在他们的设计中考虑到这一点，无论应用是什么。

因此，定义ADAS系统的组件要求是一个复杂的过程。在中间数据流中观察到的特定效果不一定是孤立的，它需要对完整的信息传输流进行复杂的分析。这意味着有必要分析从光学层面到电子信号层面的链条（见图11），而这必须考虑到系统预期运行的使用情况。因此，至关重要的是，组件不只是作为孤立的元素来表征，而是在一个单一的框架下很好地涵盖了链条上的所有影响，这样才能适当地表征整个系统。

鉴于图10的例子，挡风玻璃之后的对比度降低仍然可以被具有足够对比度检测能力的图像传感器检测到，因此，ISP可以重建一个图像，即使在左边的图像中也可以检测到汽车，而且检测概率仍然足够。

为了给汽车工业设计稳健的系统，IEEE P2020分组3（系统和部件层面的计算机视觉的图像质量）旨在开发一致的指标，既描述各种退化，又给出其置信度的界限。我们将探索区分性的概率方法，如对比度检测概率（CDP）。这有助于整体信号链的可视化，并旨在改善跨域障碍。 CDP是一个专门用来测量这个基本方面的指标，使用了一个在理论上很有基础的框架（Geese等人[13]）。此外，CDP有能力应用于成像系统链的每个元素，因此可以在成像链的每个步骤中描述原始任务。

3）展望与结论。在讨论中，第3小组对汽车计算机视觉应用的新的顶级图像质量KPI给予了认识。在第一种方法中，这些新的顶级KPI将基于检测概率的原则。作为这些新的概率KPI中的第一个，对比度检测概率[13]已经在科学界得到了定义；IEEE P2020将在2018年底前把这个定义改编成第一个提案。在此，工作组成员将在实验室测试环境中，用示范性摄像机对这种CDP方法进行验证。 对于交通相关颜色的可区分性，已经开始讨论与CDP原则相类似的概率方法，并被称为颜色分离概率（CSP）。图像质量的另一个重要领域是几何分辨率，它将被高度重视。  对于所有的定义和关键绩效指标，第3小组计划提供一个实施范例，以验证和发展新定义的关键绩效指标与目前建立的关键绩效指标，而实验室验证则打算如上所述。

3.  Gap analysis（差距分析）

由于汽车成像在硬件设置和客户功能方面非常独特，很明显，现有的图像质量KPI标准不足以解决此类系统。表1示例性地描述了一些明显的差距。我们的目标是确定影响汽车系统图像质量的相关环境条件下的属性，并随后定义通用方法来量化它们。

Was this helpful?

YesNo

15 / 0

http://xzh.i3geek.com #P2020标准