作为拍照手机的核心模块之一，Camera Sensor效果的调整，涉及到众多的参数，如果对基本的光学原理及sensor软/硬件对图像处理的原理能有深入的理解和把握的话，对我们的工作将会起到事半功倍的效果。否则，缺乏了理论的指导只能是凭感觉和经验去尝试，往往无法准确的把握问题的关键，不能掌握sensor调试的核心技术，无法根本的解决问题。所以笔者结合自己对于摄影的爱好所学习的一些图像处理相关的原理，尝试通过分析一些与Sensor图像处理相关的因素，与大家分享一下自己的一些理解，共同探讨与学习。
01 ISP
ISP（Image Signal Processor）即图像信号处理器，用于处理图像信号传感器输出的图像信号。它在相机系统中占有核心主导的地位，是构成相机的重要设备。
02 内部主要构成
如图所示，ISP内部包括CPU、SUP IP、IF等设备；事实上，可以认为ISP是一个SOC，可以运行各种算法程序，实时处理图像信号。
❶ CPU
CPU即中央处理器，可以运行AF、LSC等各种图像处理算法，控制外围设备。现代的ISP内部的CPU一般都是ARM Cortex-A系列，例如Cortex-A5、Cortex-A7.
❷ SUB IP
SUB IP是各种功能模块的通称，对图像进行各自专业的处理。常见的SUB IP如DIS、CSC、VRA等
❸ 图像传输接口
图像传输接口主要分两种，并口ITU和串口CSI。CSI是MIPI-CSI的简称，鉴于MIPI-CSI的诸多有点，在手机相机领域，已经广泛使用MIPI CSI接口传输图像数据和各种自定义数据。外置ISP一般包含MIPI-CSIS和MIPI-CSIM两个接口，内置ISP一般只需要MIPI-CSIS接口。
❹ 通用外围设备
通用外围设备指I2C、SPI、PWM、UART、WATCHDOG等。ISP中包含I2C控制器，用于读取OTP信息，控制VCM等。对于外置ISP，ISP本身还是I2C的设备。AP可以通过I2C控制ISP的工作模式，获取其工作状态等。
03 主要功能特性
ISP 作为图像处理的核心器件，拥有十分重要的功能，下图展示了ISP处理图像数据的基本流程。
关于ISP的主要功能特性介绍：
● DEMOSAIC（颜色插值）
DEMOSAIC是ISP的主要功能之一。SENSOR的像素点上覆盖着CFA后照射到像素上；CFA由R、G、B三种颜色的遮光罩组成，每种遮光罩只允许一种颜色通过，因此每个像素输出的信号只包含R、G、B三者中的一种颜色信息。SENSOR输出的这种数据就是BAYER数据，即通常所说的RAW数据。显而易见，RAW数据所反映的颜色信息不是真实的颜色信息。DEMOSAIC就是通过插值算法将每个像素所代表的真实颜色计算出来。
● FOCUS
根据光学只是，景物在传感器上成像最清晰时出于合焦平面上；通过更改LENS的位置，使得景物在传感器上清晰地成像，是ISP FOCUS功能所需要完成的任务。FOCUS分为手动和自动两种模式。ISP可运行CONTRAST AF、PDAF、LASER AF等算法实现自动对焦。
● EXPOSURE（曝光）
EXPOSURE主要影响图像的明暗程度。ISP需要实现AE功能，通过控制曝光速度，使得图像亮度适宜。
● WB（白平衡）
白平衡与色温相关，用于衡量图像的色彩真实性和准确性。ISP需要实现AWB功能，力求在各种复杂场景下都能精确的还原物体本来的颜色。
● LSC（镜头校正）
用于消除图像周边和图像中心的不一致性，包含亮度和色度两个方面。ISP需要借助OTP中的校准数据完成LSC功能。
● Gamma Correction（伽玛校正）
传感器对光线的响应和人眼对光线的响应是不同的，伽玛校正就是是的图像看起来符合人眼的特性。
● Crop/Resize（图像剪裁）
即改变图像的尺寸，可用于输出不同分辨率的图像。
● VRA（视觉识别）
用于识别特定的景物，例如人脸识别，车牌识别。ISP通过各种VRA算法，准确的识别特定的景物。
● DRC（动态范围校正）
动态范围即图像的明暗区间。DRC可以使得暗处的景物不至于欠曝，而亮处的景物不至于过曝。ISP需要支持DCR功能。
● CSC（颜色空间转换）
例如ISP会将RGB信号转化为YUV信号输出。
● IS（图像稳定）
IS的主要作用是使得图像不要因为手持时轻微的抖动而模糊不清。IS有很多种，例如OIS 、DIS、EIS。ISP可以实现DIS和EIS。
事实上，ISP除了上面提到的主要功能外，还需要支持DENOISE、CONTRAST、SATURATION、SHARPNESS等调整功能。
04 控制方式
这里所说的控制方式是指AP对ISP的操控方式。
● I2C/SPI
这一般是外置ISP的做法；SPI一般用于下载固件、I2C一般用于寄存器控制。在内核的ISP驱动中，外置ISP一般是实现为I2C设备，然后封装成V4L2-SUBDEV。
● MEM MAP
一般是内置ISP的做法；将ISP内部的寄存器地址空间映射到内核地址空间。
● MEM SHARE
也是内置ISP的做法；AP这边分配内存，然后将内存地址传给ISP，二者实际上共享同一块内存。因此AP对这段共享内存的操作会实时反馈到ISP端。
上文多次提到外置ISP和内置ISP，实际上都是ISP的架构方案。
05 外置ISP结构
外置ISP架构是指在AP外部单独不知ISP芯片用于图像信号处理。外置ISP的架构图一般如下所示：
外置ISP架构的优点主要有：
● 提供更优秀的图像质量
在激烈的市场竞争下，能够存活到现在的外事ISP生产厂商在此领域一般都有很深的造诣，积累了丰富的影像质量调试经验，能够提供比内置ISP更优秀的性能和效果。因此，选用优秀的外置ISP能提供专业而优秀的图像质量。
● 支援更丰富的设计规划
外置ISP的选型基本不受AP的影响，因此很多手机厂家（比如美图秀秀手机、魅族、华为等）都是从从各个优秀 ISP芯片供应商的众多产品中甄选最合适的器件，从而设计出更多优秀的产品。
● 实现产品的差异化
内置 ISP 是封装在 AP 内部的，是和 AP 紧密的联系在一起，如果 AP 相同，那么 ISP 也就是一样的。因此基于同样AP 生产出来的手机，其 ISP 的性能也是一样的，可供调教的条件也是固定的，这样就不利于实现产品的差异化。而如果选择外置 ISP，那么同一颗 AP，可以搭配不同型号的 ISP，这样可以实现产品的差异化，为给用户提供更丰富和优质的产品。
外置ISP架构的缺点：
● 成本价格高
外置 ISP 需要单独购买，其售价往往不菲，而且某些特殊功能还需要额外支付费用。使用外置 ISP，需要进行额外的原理图设计和 LAYOUT，需要使用额外的元器件。
● 开发周期长
外置 ISP 驱动的设计需要多费精力和时间。使用外置 ISP 时，AP 供应商提供的 ISP 驱动就无法使用，需要额外设计编写外置 ISP 驱动。另外，为了和 AP 进行完美的搭配，将效果最大化，也往往需要付出更多的调试精力。上文也提到，使用外置 ISP，需要进行额外的原理图设计和 LAYOUT，需要使用额外的元器件，这也是需要花费时间进行处理的。
06 内置ISP架构
内置ISP架构是指在AP内部嵌入了ISP IP，直接使用ISP进行图像信号处理。内置ISP的架构图一般如下所示：
内置 ISP 架构的优点主要有：
● 降低成本价格
内置 ISP 内嵌在 AP 内部，因此无需像外置 ISP 一样需要额外购买，且不占 PCB 空间，无需单独为其设计外围电路，这样就能节省 BOM，降低成本。鉴于大多数用户在选购手机时会将价格因素放在重要的位置，因此降低成本能有效的降低终端成品价格，有利于占领市场。
● 提高产品的上市速度
内置 ISP 和 AP 紧密结合，无需进行原理图设计和 LAYOUT 设计，因此可以减小开发周期，加快产品上市的速度。
● 降低开发难度
如果使用内置 ISP，那么 AP 供应商能在前期提供相关资料，驱动开发人员可以有充足的时间熟悉相关资料，而且不会存在软件版本适配问题，也不存在平台架构兼容性问题。但是，如果使用外置 ISP，那么 ISP 供应商往往都不能提供针对某个平台的代码/资料，而且一般都存在软件版本兼容问题，这就需要驱动开发人员付出额的经历和时间。
使用内置 ISP 当然也有相应的不足之处，具体见上文的分析，这里就不赘述了。
事实上，鉴于 ISP 的重要性，为了推广其 AP，提高其 AP 竞争力，现在 AP 内置的 ISP 也越来越强大，其性能足以满足手机市场的需求。再加上其一系列优点，现在使用内置 ISP 方案的手机越来越多。
联系我们：
如果您数字成像系统ISP内容感兴趣的话，欢迎与我们留言，也可邮件咨询： sales@colorspace.com.cn，分享您的看法或提出您的问题！
（本文转载自光学日记）
Was this helpful?
2 / 0