发布时间：2024年2月27日
本文源自：Imatest公司技术发布
在数字成像领域，公平性一直是一个被广泛讨论的议题。随着技术的快速发展，我们期待所有消费者相机，无论是网络摄像头还是智能手机，都能公正地处理和呈现各种肤色。然而，最近的研究显示，这一目标还远未实现。本文将探讨消费者相机在不同肤色表现上的现状、挑战，以及未来可能的解决方案。
◈ 技术探索的现状
最近对各种网络摄像头和智能手机的测试揭示了一个不容忽视的问题：在暗色肤色场景中，这些设备的表现普遍不佳。这一发现不仅令人失望，而且突显了一个长期被忽视的事实——技术并非总是公平的。
通过对两个使用相同网络摄像头拍摄的测试人像头模——一个深色肤色，一个浅色肤色——进行对比，明显可以看出深色肤色在相同光照条件下被低曝光。进一步的测试显示，即使是采用面部检测技术调整曝光设置的更高端摄像头，虽然改善了深色肤色的曝光问题，但却导致其他区域过曝，反映出自动曝光算法的局限性。
◈ 当前挑战的深层原因
相机技术处理不同肤色性能差异的问题，源于长期以来的技术发展路径。传统上，相机的曝光和色彩处理算法主要基于较浅肤色的标准，这在很大程度上忽视了全球人口中肤色的多样性。此外，早期的成像技术研发缺乏对多元文化背景的深入理解和考虑，导致了技术在本质上的偏见。
- 技术开发的历史背景：在相机和成像技术的早期发展中，测试标准和参考模型大多以欧洲或北美的消费者为中心。这种偏向性在技术迭代过程中逐渐固化，形成了一种“标准模型”，而这个模型并不代表全球人口的多样性。
- 自动曝光算法的局限性：现有的自动曝光和自动白平衡算法，往往在没有足够多元化数据训练的情况下开发完成。这意味着这些算法在面对非标准化（按照其训练数据）的肤色时，无法做出最优的曝光决策。
◈ 技术进展与创新
尽管挑战重重，但技术界正在采取积极措施应对这一问题。通过引入更加先进的算法、利用人工智能技术以及增强相机硬件的性能，我们开始看到了问题的可行解决方案。
- 人工智能与机器学习：通过人工智能和机器学习技术，相机可以更准确地识别和处理不同肤色。这些技术允许相机系统从大量多样化的图像数据中学习，从而提高对各种肤色的识别和处理能力。
- 更广泛的测试标准：行业内开始认识到测试标准的多样化重要性。通过扩大测试用例，包括更广泛的肤色范围，可以确保新开发的相机系统更好地服务于全球多样化的用户群体。
- 用户定制和调整功能：一些相机和智能手机开始提供更多的用户定制选项，允许用户根据自身的需求和偏好调整曝光、色彩平衡等设置。这种灵活性的增加有助于提升相机对不同肤色的友好度。
但是我们在下一个例子中可以让自动曝光算法“更聪明”。 这些帧是由一个高端的网络摄像头捕捉的，该网络摄像头使用面部检测来控制其曝光设置。
重大差异——我们实际上可以看到Richard脸上的细节。但这里存在一个重大的权衡。
相机自动调整了设置，以更好地曝光场景中发现的任何脸部。这是一个进步，但它为较深肤色引入了一个新问题：现在其他所有东西都曝光过度了。
我们可以分析两个场景中的ColorChecker图表，在Imatest中生成下面的模拟图表。每个色块显示了每个色域的目标/测量颜色的分割视图。我们在Richard场景的几个色块中看到过饱和（用红色高亮显示），但在Alexis场景的色块中却没有。
由此，Richard场景中ColorColor的平均Delta E误差急剧增加。
我倾向于听到这样的观点，即这是一件好事–优先考虑在场景中适当曝光一张脸。 但这似乎令人难以置信的不公平，当大多数相机能够适当地曝光所有区域的场景包含较浅的肤色。 图像处理算法不是“一刀切”的情况。
不过还好。“ 是个摄像头。 人们在虚拟会议中还会打开那些东西吗？ 谁会看得那么仔细？
不过，我们确实会密切关注我们的智能手机，以及它们制作的视频和照片。 所以让我们把自动算法做得更聪明。
现代智能手机曝光和色彩再现算法正在逐步远离全局调整的使用，即， 增加曝光以使面部优先不会增加整个图像上的曝光。 下面是我用自己的手机拍摄的一个例子：
视觉上的差异更加微妙，但潜在的问题仍然存在，特别是当我们看到数字时。
这还意味着什么？ Colorbox上的均匀补丁可能不是衡量肤色再现的最佳方法，特别是对于利用面部检测的处理管道。
但到目前为止我们只研究了两种肤色。 让我们测试更多。
◈ 使用人工智能生成多样化的人脸
哈佛大学的Ellis Monk博士开发了Monk Skin Tone (MST) 肤色量表，该量表包含10种不同的肤色。目前，谷歌研究院正在使用这一量表，其设计旨在代表比通常使用的Fitzpatrick肤色量表更广泛的地理社区范围。由于Fitzpatrick量表源自皮肤病学背景，它倾向于偏向较浅的肤色。
虽然我无法接触到一个多样化的真实人群进行这项研究，但我们现在拥有令人印象深刻的人工智能技术。我与Generated Photos合作，基于Monk量表创建了10张AI生成的面孔。该公司的Human Generator工具非常酷，它提供了：
- 16种基础肤色选项
- 120多个民族
- 自定义AI提示输入
- 多种姿势、服装和背景选项
首先选择最接近目标肤色的初始参数，然后基于参考进行手动颜色调整，最后使用Imatest的色彩准确的打印方法进行打印（人像卡的制作可以联系 imatest和正印科技)。如果你好奇它们与实际人类肤色（由NIST收集）的光谱反射测量结果相比如何，下面进行了比较。
基于上面制作的测试场景，进行大量的拍摄和分析：
上图展示了在15种以上测试的照明条件下，捕获数据的部分子集。请注意从左侧（最浅的Monk肤色）到右侧（最深的Monk肤色）场景曝光趋势。除了网络摄像头1外，所有设备都使用了某种形式的人脸检测技术，我们倾向于看到随着肤色变深，整体场景亮度的增加。我们还注意到了一些白平衡错误，这些错误将在我的会议论文（即将发布！）和VCX规范中进一步深入讨论。
◈ 结果解读
再次，我们计算了每个场景中ColorChecker的平均Delta E误差，同时也计算了每个场景中人脸平均亮度（即L*值）的相对误差。通过这两个指标，我们可以用一种非常简化的方式来比较色彩校正板（或周围场景）的视觉效果与人脸的视觉效果的好坏。
如果我们将每个设备和每个场景的这两个指标相互对比，我们得到了一个非常直观的散点图：
我们观察到了什么？包含较深肤色的场景中的误差明显较大。这也展示了设备内部及设备之间处理较深肤色的方式有更大的差异。包含较深肤色的场景中的误差比包含较浅肤色的场景中的误差分散得多，后者的误差落在一个更紧密的范围内。因此，不仅是包含较深肤色的场景处理得较差，而且处理方式也极不一致。
但是，一些相机系统开始做得对了。
上面的场景都是在相同的照明条件下使用Google Pixel 6 Pro的默认设置拍摄的。 Pixel 6是谷歌第一款采用真实的色调技术的机型，这是一项令人难以置信的努力，旨在使他们的摄影产品在各种肤色中表现得更加公平。
在不同肤色和光照条件下测试的六种器械的结果子集总结如下所示：
这篇文章仅仅触及了一个复杂问题的表面。它甚至还没有开始探讨包含多种肤色或其他重要指标（如白平衡）的场景。但我希望这至少能说服你，这是一个问题，我们应该努力设计更公平的相机系统。
这些努力需要跨越行业的多个领域——不仅仅是相机系统本身的开发，也包括测试这些系统的标准的开发。以及ISO标准组织中正在兴起的努力，旨在扩大标准测试中的肤色范围，但仍有很多工作要做。在相机和图像技术中正确代表肤色多样性不仅应该被赞赏，更应该成为一种期待。
◈ 未来方向与展望
在人像和肤色还原方面，未来的相机技术发展需要在确保技术公平性的基础上，进一步探索和实现创新。以下几个方向将是关键所在：
- 跨学科合作：相机技术的公平性不仅是一个技术问题，也是一个社会学和人类学问题。因此，未来的技术开发需要跨学科的合作，将不同领域的专家纳入研发过程，共同探索解决方案。
- 全球化的视角：技术开发需要采取全球化的视角，确保所收集和使用的数据集体现出全球人口的多样性。这包括在算法训练过程中使用更加多元化的数据集，以及在产品设计和测试阶段考虑到不同文化和地理背景的需求。
- 用户参与和反馈：积极吸纳用户的反馈和建议，对于不断改进相机技术至关重要。通过建立有效的用户反馈机制，可以更准确地把握用户的需求和挑战，从而指导技术的优化和迭代。
- 教育和意识提升：提升公众对于技术公平性的认识和理解，是推动行业进步的重要一环。通过教育和宣传活动，可以增强消费者对于技术公平性问题的意识，从而促进更加公平、包容的技术解决方案的发展。
◈ 结语
相机技术中的公平性问题是一个复杂的多维度挑战，涉及技术、社会、文化等多个层面。通过深入分析当前挑战、探索技术进展，并展望未来的发展方向，我们可以看到，尽管面临诸多挑战，但通过集体努力和不断创新，实现技术公平性的目标是完全可能的。未来的相机技术将更加智能、灵活和包容，能够更公平地服务于全球多样化的用户群体，让每个人的故事都得以公正地呈现和记录。
联系我们：
如果您有什么问题或想要了解的讯息，欢迎与我们留言，也可邮件咨询： sales@colorspace.com.cn，分享您的看法或提出您的问题！
Was this helpful?
3 / 0