发布时间：2024年3月13日
原作者：Sarah Kerr; Imatest LLC; Boulder, Colorado USA
摘 要
ISO 12233:2023标准中引入的新的基于边缘的空间频率响应（e-SFR）特征，即斜星，标志着该标准的重大变化。与之前使用的斜方形相比，这一特征提供了四个额外的边缘方向，使得除了从垂直和水平边缘得到的SFR之外，还能够测量矢状和切向的空间频率响应（SFR）。然而，这些额外边缘所提供的扩展实用性，在可靠地自动放置适当的感兴趣区域（ROIs）进行e-SFR分析方面带来了挑战，从而使得跨不同方向的分辨率准确比较变得复杂。本文通过提供ISO 12233斜星特征的高效和精确检测与分析建议，来解决这些挑战。我们的建议基于全面的模拟和在多样化及具有挑战性的条件下经验证的实验结果。
简 介
测量成像系统的空间频率响应（SFR）是评估系统性能的关键方面。整体系统响应包括系统各个组件的SFR。因此，理解不同组件对总体SFR的贡献是图像质量评估和改进的一个重要方面。系统SFR的各向异性，即系统响应的方向依赖性，提供了一种分离组件SFR贡献的方法。例如，在通常由像素行和列组成的数字传感器中，垂直和水平SFR测量自然地划分了系统特性。同样，光学组件的SFR显著受到镜头及其像差固有径向对称性的影响。因此，评估矢状（与曲率半径平行）和切向（与曲率半径垂直）的SFR测量是更可取的。
国际标准化组织（ISO）对电子静态图像成像的分辨率和空间频率响应的标准，即ISO 12233，定义了术语、测试图规范和执行分辨率测量的测试方法。标准包含三种不同的方法：使用双曲楔测试模式的视觉分辨率测量、使用低对比度斜边的基于边缘的空间频率响应（e-SFR）测量以及使用正弦波调制星芒图案的基于正弦的空间频率响应（s-SFR）测量。
虽然视觉分辨率和s-SFR测量自标准先前版本以来未发生变化，但2023年ISO 12233版第4版的e-SFR测量进行了重大更新。对e-SFR算法进行了几项更改，以提高SFR准确性。
e-SFR概述和更新:
ISO 12233标准和其他文献详细描述了全面的e-SFR测量。简而言之，这个算法可以通过几个关键步骤来描述：（1）测量边缘扩展函数（ESF），（2）对ESF进行微分，以获得线扩展函数（LSF），（3）对LSF进行傅里叶变换，以推导出频率依赖的SFR。以下是对ISO 12233:2023的e-SFR算法更新的简要描述。
准确测量ESF受到检测边缘方向的4倍过采样二项化的精度限制。像素几何与边缘方向之间的不对齐导致像素间距和二项大小之间的差异。对这两个宽度之间的差异进行余弦校正，可以获得更精确的ESF，并且可以直接应用于步骤（1）和（2），直接影响到SFR领域，如ISO 12233:2023的附件D所示。
此外，在ISO 12233的第四版中，ESF的特征也通过对边缘进行5次多项式拟合，而不是之前使用的线性拟合，得到了更准确的描述。这对于具有显著几何失真的成像系统中斜边缘分析特别有利。
ISO 12233:2023对e-SFR算法的最后一个重大更新是选择汉宁窗口而不是之前使用的汉明窗口。在步骤（1）中对ESF应用汉宁窗口，以消除低频不均匀性的贡献，并且在步骤（3）之前对LSF应用汉宁窗口进行消光处理，与汉明窗口相比，汉宁窗口具有更激进的高频衰减。
想象一下，我们正在用一个非常精细的尺子测量一张图片的清晰度，这个过程就是e-SFR测量。我们首先找到图片上的边缘，这就像是找到一棵树的轮廓。然后，我们看这个轮廓是如何从完全模糊变成非常清晰的，这个变化过程就是我们所说的边缘扩展函数（ESF）。通过观察这个变化，我们可以得到一个线条的变化图，即线扩展函数（LSF）。最后，我们通过对这个线条变化图进行一种特殊的数学变换（傅里叶变换），就能得到一组数据，这组数据能告诉我们图片的清晰度如何随着不同距离变化。
最近，这个测量过程进行了一些改进。为了更准确地测量边缘的变化，我们开始使用一种更复杂的方法来分析图片边缘，而不是简单地直线拟合。此外，我们也改变了处理信号时使用的一个小窗口（汉宁窗口），这有助于我们更好地忽略图片中不重要的部分，专注于我们关心的边缘部分。通过这些更新，我们可以更准确地测量和理解图片的清晰度，就像使用了一个更先进的尺子一样。
从斜方到斜星的转变:
ISO 12233:2023标准中引入的斜星（见图1）作为基于边缘的空间频率响应测试模式，标志着该标准的重要更新。其对角边缘补充了已建立的水平和垂直边缘，使得可以更全面地采样成像系统视场中的矢状和切向SFR性能。然而，利用斜星在自动放置沿每个斜边的适当感兴趣区域（ROIs）时呈现出独特的挑战，这是实现e-SFR算法的前提条件。这些挑战源于在多样化的成像条件下检测斜星的增加难度，以及在斜星测试图案的锐角中精确拟合ISO 12233:2023符合要求的矩形ROIs。因此，通过四周期斜星进行全面有效的系统SFR评估，需要超越以往斜方所需的可靠性和精度的高级检测技术。
imatest对斜星的自动检测:
根据ISO 12233:2023标准，e-SFR算法的第一步是用户为每个斜边选择一个矩形感兴趣区域。鉴于ISO 12233:2023要求至少九个斜星进行彻底的e-SFR分析（见图2），每张图像至少必须考虑72个ROIs。随着测试参数的增加，需要分析的图像数量增多，这迅速成为一个挑战。因此，快速、可靠且自动地检测斜星并放置符合ISO 12233:2023的ROIs成为实际分析的要求。这可以通过四个主要步骤完成：斜星定位、斜星中心检测、斜星边缘检测和斜边ROI放置。
斜星的定位:
使用OpenCV和PyTorch在Python中训练了一个卷积神经网络，用于从复杂场景中定位单个斜星。使用Universal Data Tool标注训练数据，通过Albumentations增强了带有噪声、模糊、畸变、平移、旋转和反射的数据。模型的目标是在场景中将每个斜星局限在一个矩形边界框内（见图2）。更具体的训练，用于斜星中心定位和边缘检测过于繁琐且不必要，因为找到的边界框足以进行传统的图像处理技术。
Imatest对斜星的中心定位
四周期斜星的几何形状和双色设计使得使用两个一维Walsh-Hadamard变换进行检测成为理想选择。Walsh-Hadamard变换是一种广义的傅里叶变换，对于二进制信号重建，它能更快速且误差更小地收敛。随着顺序的增加，Walsh-Hadamard基描述的二进制转换数量增加。零阶项是直流偏移，第一阶项对应于一个转换，第二阶项对应于两个转换，依此类推（见图3）。很明显，四周期斜星可以通过零阶和第四阶项准确描述。特别是，当沿着x或y执行Walsh-Hadamard变换时，我们期望星的第一个边界由直流能量的降低和第四阶能量的增加来定义，然后星的中心由直流项的局部最大值和第四阶项的局部最小值来表征，最后，星的第二个边界将表现为直流能量的增加和第四阶能量的降低。因此，通过寻找零阶和第四阶Walsh-Hadamard项中的局部极值，可以可靠地找到每个星的中心。
为了测试检测精度，通过添加任意旋转、径向畸变、高斯模糊和白高斯噪声到理想的4:1对比度四周期斜星上，生成了一系列人为降质的斜星图像。径向畸变应用于标准化径向距离为0.7的星上，使用正切模型来模拟桶形畸变（p = 0.075, 0.15）和反正切模型来模拟枕形畸变（p = -0.06, -0.12）。添加的高斯模糊的标准差范围从0.5到3，所有这些都使用15的核心大小。噪声的添加是为了产生信噪比为1.5, 2.4, 3.9, 6.2和10 dB的图像。成功是通过考虑在每种径向畸变条件下，正确检测斜星中心内1%相对误差的覆盖概率来衡量的。结果显示在图4中，样本星显示在附录A中。
斜星边缘
预先知道斜星中心的位置，可以通过斜星信号的极区域分割可靠且一致地检测到斜星边缘。极区域围绕斜星中心创建，间隔为2度，常数半径通常小于斜星（见图5）。每个区域内的所有像素被求和，然后根据极角作为函数对信号进行边缘检测，假设边缘彼此间隔相对等距。
为了测试边缘检测的成功率，对用于中心检测的相同样本图像集进行了边缘检测。这些图像被人为地降质，具有径向几何畸变、模糊和噪声。对每颗星计算了真正例、假正例和假反例的数量。然后计算精确度、召回率和F-分数（见图6）。
对于所有没有畸变的星和所有略有枕形畸变的星，边缘检测都是完美的。有轻微桶形畸变、极端枕形畸变和极端桶形畸变的斜星，检测成功率较低。这可以通过假设边缘相对等距分开来解释，这在无畸变或畸变较低的情况下效果很好，但在存在畸变时会影响边缘检测。
斜边的分析区域ROI
成功的斜星定位、中心检测和边缘检测，使得可以在整个图像中自动放置合适的ROI。根据ISO 12233:2023，一个e-SFR ROI必须包含一个斜边，并且应该具有100到400像素之间的垂直和水平边，允许在适当报告的情况下有例外。斜边必须与ROI的对立面相交。也就是说，要么是顶部和底部，要么是右侧和左侧。尽管这不是ISO 12233:2023的要求，但大家一致认为边应该与ROI的短边相交。这一建议很容易被斜方形的斜边以及四周期斜星的垂直和水平边采纳。然而，在四周期斜星的任何对角边上放置一个符合ISO 12233:2023的ROI，要求边必须与矩形ROI的长维度相交，这导致了SFR结果的不一致。
未来的工作
应该考虑使用不同形状的ROI，以更好地适应四周期斜星及其边缘的几何形状。Masaoka等人已经展示了当在ESF拟合期间适当标准化时，任意形状的ROI可以产生准确的SFR测量。因此，更适合四周期斜星形状的非矩形ROI应该被考虑纳入ISO 12233的未来修订中。一些有希望的变体包括斜矩形和楔形ROI。
在未来的ISO 12233:2023修订中，也可以考虑优先考虑矢状和切向SFR测量的不同斜边目标。
- （a）成功的斜星定位、中心检测和边缘检测允许自动放置符合ISO 12233：2023的ROI。 图表图像增强从标准版本，版权Imatest和复制的许可。
- （b）四圈斜星内部相邻边之间的锐角使得很难放置一致的ROI。
- （c）符合ISO 12233：2023标准的ROI，对应于四周期斜星的顶部垂直边缘。 此ROI遵循最佳实践。
- （d）符合ISO 12233：2023标准的ROI，对应于四周期斜星的右上角对角边缘。 此ROI未遵循最佳实践。
结论
ISO 12233:2023中四周期斜星特性的引入，使得跨成像系统的SFR分析更加细致和全面。通过加入四个额外的边缘方向，斜星模式允许在视野中比较矢状、切向、垂直和水平的SFR测量。尽管自动放置ROI以进行有效的e-SFR分析存在挑战，本文概述了克服这些障碍的实用解决方案，从而促进了跨不同方向的成像系统分辨率的更准确和高效评估。通过在多样化条件下进行彻底的模拟和实验验证，我们展示了斜星特征的检测和ROI放置可以方便地自动化。通过采用先进技术，如卷积神经网络进行星定位、Walsh-Hadamard变换进行中心检测和极区域分割进行边缘检测，我们建立了一种用于自动放置符合ISO 12233:2023的ROI的稳健方法，具有高精度和可靠性。然而，这项工作也突出了ISO标准未来修订需要考虑适应斜星几何形状的不同ROI形状和斜边目标的必要性。这不仅将解决SFR结果的不一致性，还将提高标准适用于更广泛成像场景的能力。随着成像技术的持续发展，ISO 12233这样的标准通过采纳新的方法论和测试模式适应这些变化是必要的。斜星特性是该标准持续完善和致力于提供全面图像质量评估框架的证明。通过解决这一进步所带来的挑战，我们可以释放ISO 12233:2023的全部潜力，为未来铺平道路，创造更全面和方便的目标。
附录A
考虑用于定位、中心检测和边缘检测的倾斜星子集，具有不同的几何失真和信噪比水平。
联系我们：
如果您有什么问题或想要了解的讯息，欢迎与我们留言，也可邮件咨询： sales@colorspace.com.cn，分享您的看法或提出您的问题！
Was this helpful?
0 / 0