Categories: 技术

去马赛克

去马赛克(demosaicing)算法是一种数字图像处理,用于根据从彩色滤波器阵列(CFA)覆盖的图像传感器输出的不完整颜色样本重建全色图像。 它也被称为CFA插值或颜色重建。

大多数现代数码相机使用与CFA重叠的单个图像传感器获取图像,因此去马赛克是将这些图像呈现为可视格式所需的处理流水线的一部分。

许多现代数码相机可以以原始格式保存图像,使用户可以使用软件对其进行去马赛克,而不是使用相机的内置固件。

目标
去马赛克算法的目标是从CFA输出的空间欠采样颜色通道重建全彩色图像(即全套彩色三元组)。 该算法应具有以下特征:

避免引入假彩色伪像,例如彩色别名,拉链(在许多相邻像素上突然发生非自然的强度变化)和紫边
最大限度地保留图像分辨率
计算复杂度低,用于快速处理或高效的相机内硬件实现
适合分析精确降噪

滤色器阵列
彩色滤光片阵列是图像传感器前面的彩色滤光片镶嵌。 商业上,最常用的CFA配置是拜耳过滤器。 这对奇数行具有交替的红(R)和绿(G)过滤器,对偶数行具有交替的绿(G)和蓝(B)过滤器。 绿色滤光片的数量是红色或蓝色滤光片的两倍,满足人眼对绿光的高敏感度要求。

由于CFA的颜色子采样本身导致混叠,因此通常将光学抗混叠滤波器放置在图像传感器和透镜之间的光路中以减少通过插值引入的伪色伪像(色彩混叠)。

由于传感器的每个像素位于滤色器后面,因此输出是一组像素值,每个像素值表示三种滤色器之一的原始强度。 因此,需要一种算法来针对每个像素估计所有颜色分量的颜色水平,而不是单个分量。

插图
为了从由颜色过滤阵列收集的数据重建全色图像,需要一种插值形式来填充空白。 这里的数学是个体实施的,被称为去马赛克。

在这个例子中,我们使用Adobe Photoshop的双三次插值来模拟Bayer滤镜设备(如数码相机)的电路。

下面的图像模拟Bayer滤波图像传感器的输出; 每个像素只有一个红色,绿色或蓝色组件。 相应的原始图像与本节结尾处的去马赛克重建一起显示。

Related Post

重建图像通常在统一颜色区域中精确,但分辨率(细节和清晰度)损失并且具有边缘伪影(例如,字母的边缘具有可见的彩色条纹和一些粗糙度)。

算法

简单的插值
这些算法是均匀网格上多变量插值的例子,对相同颜色分​​量的附近实例使用相对直接的数学运算。 最简单的方法是最近邻插值,它简单地复制相同颜色通道的相邻像素。 它不适用于质量很重要的任何应用程序,但在给定有限的计算资源时可用于生成预览。 另一种简单的方法是双线性内插,其中非红色像素的红色值被计算为两个或四个相邻红色像素的平均值,并且类似地对于蓝色和绿色。 在每个色彩平面内独立内插的更复杂的方法包括双三次插值,样条插值和Lanczos重采样。

尽管这些方法可以在均匀图像区域中获得良好结果,但在与纯色CFA一起使用时,它们在具有边缘和细节的区域中容易出现严重的去马赛克伪影。 但是,与空间光谱(全色)CFA结合使用时,线性插值可以获得非常好的结果。 人们可以利用简单的图像形成模型进行去马赛克。 在同一片段内的自然图像中,应该保留颜色的比例。 这一事实在用于去马赛克的图像敏感内插中被利用。

图像中的像素相关性
更复杂的去马赛克算法利用彩色图像内像素的空间和/或光谱相关性。 空间相关性是像素在图像的小均匀区域内呈现相似颜色值的趋势。 光谱相关性是小图像区域中不同颜色平面的像素值之间的依赖关系。

这些算法包括:

可变渐变梯度数插值计算感兴趣像素附近的渐变,并使用较低的渐变(表示图像更平滑和更相似的部分)进行估计。 它用于dcraw的第一个版本,并且受到色彩失真的影响。
像素分组使用关于自然风景的假设来进行估计。 自然图像上的色彩伪影比可变渐变方法少; 它是在relraw中引入的。 8.71作为“图案像素分组”。
自适应均匀性定向内插选择内插方向以最大化均匀性度量,因此通常使颜色伪像最小化。 它已在最新版本的dcraw中实现。

视频超分辨率/去马赛克
已经表明,超分辨率和去马赛克是两个面临同样问题的面孔,并且在统一的背景下处理它们是合理的。 请注意,这两个问题都解决了别名问题。 因此,特别是在视频(多帧)重建的情况下,联合超分辨率和去马赛克方法提供了最佳解决方案。

权衡
例如,某些方法可能会为自然场景产生更好的效果,有些方法可能会产生印刷材料。 这反映了估计像素的固有问题,我们并不确定知道这些像素。 当然,速度与估算质量之间也存在无处不在的折衷。

用于计算机图像处理软件
当人们可以从数码相机访问原始图像数据时,可以使用具有各种不同的去马赛克算法的计算机软件,而不仅限于内置于相机中的计算机软件。 一些原始开发程序,例如RawTherapee,可以让用户选择使用哪种算法。 但是,大多数程序都使用一种特定的方法进行编码。 渲染来自选择去马赛克算法的最好细节(和纹理纹理)的差异是各种原始开发人员之间的主要区别之一; 通常摄影师会因为与这种效果相关的美学原因而偏爱特定的节目。

由于去马赛克造成的色彩伪影为识别照片伪造提供了重要线索。

Share