一. P2020产生背景
在汽车上引入这种高级的传感系统可以帮助汽车保持更好的车距，甚至可以减小车道宽度，节省出来的空间可以给自行车或者人行道使用。以此可以衍生的新经济模式也是非常令人瞩目的。所以，由于 camera 在汽车传感上的这种至关重要的地位，对于汽车工业来讲，控制 camera 的图像质量是非常重要的。
就像手机成像一样，开始的时候没有一个专门的标准来规范手机相机的图像质量。所以 IEEE P1858 因应而生。但是手机的相机图像质量标准是不太适用于汽车的。而之前在汽车图像传感器领域广泛采用的 EMVA1288 并不适用于汽车整机产品。汽车领域有其独特的应用场景和工作条件，比如鱼眼，多 camera，HDR，高温，低温等。由此因素，IEEE P2020 工作组应运而生。相机在汽车主要有两种应用：一个是视觉应用，也就是给人看的。比如电子后视镜，环视系统等。还有一种应用是计算机视觉应用。比如自动驾驶，自动泊车等。
对于视觉应用的相机，产生的图像要求可以满足人的视觉需求——比如：看的清楚，看得舒服，这种需求是图像质量定义的核心。有时候看的清与看着舒服并不是统一的，所以在定义图像质量要求的时候，这块就很困难。
二. 白皮书发布的目的
1.告诉大家，到目前，汽车 camera 的图像质量还没有被定义好，很多关键的指标都没有，比如 HDR 下的 sharpness 之类的指标，还有红外光波段的相关指标，（因为传统的基于人类视觉的图像质量都是在可见光波段定义的。）等等。
2.让大家关注IEEE P2020工作组，知道这些人正在研究给汽车camera定标准。
3.号召其他在研究的或者有兴趣的人和组织可以加入P2020。
三. P2020 成员
20|10 Labs 、3M 、Albright College 、Algolux BAE Systems 、Bosch 、 Continental 、 DxOMark Image Labs EMVA / Aphesa 、 Fraunhofer IMS 、Gentex Corporation GEO Semiconductor 、 GM 、 Hochschule Dusseldorf Hyundai Motor Company 、Image Engineering 、Imatest Imatest LLC 、 Intel 、 KAMAZ PTC 、KOSTAL 、Labsphere Magna Electronics 、Navitar Industries、New Imaging Technologies NVIDIA 、OmniVision Technologies、ON Semiconductor Panasonic 、PathPartner Technology、PINNACLE IMAGING SYSTEMS PiRo Systems Engineering、Qualcomm 、Quanergy Systems Renesas Electronics Europe、Robert Bosch GmbH、Samsung Sense Media Group、SensorSpace、SmartSurv Vision Systems SMR 、Sunex 、TATA Elxsi 、Texas Instruments、 University of Westminster、Valeo、 Volkwagen AG 、Volvo、Xiaopeng Motors、ZF
四. P2020 包括的工作组
P2020 包括了 7 个工作组 Subgroup 0—Image quality requirements/specifications standards
Subgroup 1—LED flicker standards
Subgroup 2—Image quality for viewing
Subgroup 3—Image quality for computer vision
Subgroup 4—Camera subsystem interface
Subgroup 5—Image quality safety
Subgroup 6—Customer perception of image quality
白皮书针对Subgroup1、Subgroup2以及Subgroup 3小组目前的进度进行一个阶段性的报告。
|
Subgroup 1—LED flicker standards Subgroup1 的工作就是： 1.阐明 flicker 的产生原因和细节细节。 2.列举 flicker 出现的情况和潜在影响。 3.定义 flicker 现象的测试方法和关键测试指标。 4.定义 flicker 对人类视觉的影响的客观测试指标. 5.定义 flicker 对机器视觉的影响的客观测试指标.
Frame N
Frame N+1 上图像显示了一个视频中连续的两帧画面。在第N帧时，前方的交通灯（画面中红色虚线圈住的）显示红色灯亮，而在第N+1帧时，虽然人眼观察到前方的交通灯亮着红灯，但是相机捕捉不到它，误以为交通灯是熄灭的。 LED照明是采用脉冲调制驱动PWM（Pulse Width Modulation），简单来说LED并不是常亮，而是以一定频率在闪烁。但由于视觉的flicker fusion threshold的原因，频率高于某一赫兹时人眼一般就不会察觉到闪烁。但是对于camera系统来说，户外通常会设置较短曝光时间（尤其是HDR场景），这样就有可能拍摄到的LED亮度明暗变化的情况。 目前常用的一个方法是，sensor本身实现大动态范围（HDR），这样可以有更大曝光时间裕度，保证曝光时间内尽可能抓到若干个LED on周期。Sony、Onsemi现在都是这个思路。这是Sony IMX390的一个官方宣传。 （注： 欧盟已经制定并执行了包含交通信号灯flicker要求的标准EN12966，所以现在的sensor厂商很多都是在基于这一标准在设计flickering mitigation的解决方案） |
|
Subgroup 2—Image quality for viewing 这个小组主要负责制定包括后视摄像头、摄像监控系统CMS以及环绕摄像头等等的KPIs。比如电子后视镜，环视系统这种供驾驶员观看的相机。这边的难点在于，一方面观测条件太多样，一方面计算机视觉也可能用这些相机的图像，还有就是现存的标准不适用于车载相机。他们将面临几种挑战，分别是：鱼眼镜头的分辨率问题、HDR问题、多镜头影像结合问题、分布式系统、多用摄像头（指同时兼顾使用者与机械视觉的画面），外在因素，视频性能问题、亮度问题。 第二小组现阶段会针对：动态范围、灵敏度、景深、对焦稳定性以及暗电流这几个方面来研究。。 1. Uniformity
由于车载相机大量使用广角镜头，所以 lens shading 都比较严重。如果再用于做环视，那么拼接生成的图像，在拼接处都可能会产生很严重 visiual noise 左图是车身上安装的前后左右四个相机的 flat field 图像，右边是矫正了 shading 之后做了环视拼接的图像。对于有的相机，在接缝处就可以看到明显的噪声。在现在的图像质量测试标准里，就没有针对这个 case 的标准。 2. OECF 在现在的 IQ 标准里，在计算图像之前的一个很重要的操作就是做线性化。根据 OECF 来把图像矫正为线性。但是典型车载相机都是 HDR+tone maping——一个难以逆运算的非线性系统。所以这就造成一个很严重的后果，用传统的 IQ 标准测出来的很多指标，诸如 sharpness，noise，texture 都不准确。 3. 鬼影 由于 HDR，lens 的光学的设计也有很多挑战。比如鬼影的问题。对向来车的车灯，很容易在 camera 上形成鬼影，由于camera用了HDR+Local Tone mapping，车灯的鬼影往往会变得更恶化——可能拍出来好几对车灯，这就可能产生很严重的后果。 |
|
Subgroup 3—Image quality for computer vision Subgroup3 认为现有的标准关注在 component 的指标，不能够适应计算机视觉的应用需要。所以 subgroup 采用 CDP（contrast detection probability）及其衍生的 CSP（color separation probability）的方法应用到 P2020 标准里。因为这种系统级的评价方法可以帮助横向的跨越各个成像诸元，实现系统级的评价。
|
Was this helpful?
8 / 1