デモザイク

デモザイキングアルゴリズムは、カラーフィルタアレイ(CFA)でオーバーレイされたイメージセンサから出力された不完全なカラーサンプルからフルカラーイメージを再構成するために使用されるデジタルイメージプロセスである。 CFA補間または色再構成とも呼ばれます。

ほとんどの最新のデジタルカメラは、CFAでオーバーレイされた単一のイメージセンサーを使用してイメージを取得するため、デモザイク処理は、これらのイメージを表示可能な形式にレンダリングするために必要な処理パイプラインの一部です。

多くの最新のデジタルカメラは、カメラの内蔵ファームウェアを使用するのではなく、ソフトウェアを使用してデモザイクすることができる未加工フォーマットで画像を保存することができます。

ゴール
デモザイクアルゴリズムの目的は、CFAから出力された空間的にアンダーサンプリングされたカラーチャネルからフルカラー画像(すなわち、カラートリプルのフルセット)を再構成することである。 アルゴリズムには次の特性が必要です。

クロマティックエイリアスのような偽色アーチファクトの導入の回避、ジッパー処理(多数の隣接ピクセルにわたる輝度の不自然な不自然な変化)、紫色フリンジング
画像解像度の最大保存
高速処理またはカメラ内ハードウェアの効率的な実装のために計算量が少ない
正確な騒音低減のための分析の遵守

カラーフィルタアレイ
カラーフィルタアレイは、イメージセンサの前面にあるカラーフィルタのモザイクである。 商業的には、最も一般的に使用されるCFA構成は、ここに示すベイヤーフィルターである。 これには、奇数行の場合は赤(R)と緑(G)フィルタ、偶数行の場合は交互の緑(G)と青(B)フィルタが交互に表示されます。 人間の目の緑色の光に対する感度が高いので、赤色または青色のフィルタの数が2倍になります。

その性質によるCFAのカラーサブサンプリングはエイリアシングを生じるので、一般に、光学的なアンチエイリアシングフィルタは、補間によって導入される偽色アーチファクト(クロマティックエイリアス)を低減するためにイメージセンサとレンズとの間の光路に配置される。

センサの各ピクセルはカラーフィルタの背後にあるので、出力はピクセル値の配列であり、それぞれが3つのフィルタカラーのうちの1つの未加工の強度を示します。 したがって、単一のコンポーネントではなく、すべてのカラーコンポーネントのカラーレベルを各ピクセルについて推定するアルゴリズムが必要です。


カラーフィルタリングアレイによって収集されたデータからフルカラー画像を再構成するには、ブランクを埋めるために補間の形式が必要です。 ここでの数学は個々の実装の対象となり、デモザイキングと呼ばれます。

この例では、Adobe Photoshopのバイキュービック補間を使用して、デジタルカメラなどのBayerフィルタデバイスの回路をシミュレートします。

下の画像は、ベイヤーフィルター画像センサーからの出力をシミュレートしています。 各ピクセルは、赤、緑または青の成分のみを有する。 対応する元の画像は、このセクションの最後にデモザイクされた再構成の横に示されています。

再構成された画像は、典型的には、均一な色の領域では正確であるが、解像度(ディテールおよびシャープネス)が失われ、エッジアーチファクト(例えば、文字のエッジが見える色の縞およびある程度の粗さ)を有する。

アルゴリズム

簡単な補間
これらのアルゴリズムは、同じ色成分の近くのインスタンスに対して比較的簡単な数学演算を使用して、均一グリッド上の多変量補間の例です。 最も簡単な方法は、同じ色チャネルの隣接画素を単純にコピーする最近傍補間法です。 品質が重要な用途には適していませんが、計算リソースが限られているためプレビューを生成するのに便利です。 もう1つの簡単な方法は、非赤色ピクセルの赤色値が2つまたは4つの隣接する赤色ピクセルの平均として計算され、同様に青色および緑色について計算される双線形補間である。 各色平面内で独立に補間するより複雑な方法には、双三次補間法、スプライン補間法、およびLanczos再サンプリング法があります。

これらの方法は均一な画像領域で良好な結果を得ることができますが、純色のCFAで使用するとエッジやディテールがある領域ではデモザイク処理のアーティファクトが発生しやすくなります。 しかし、線形補間は、空間スペクトル(パンクロマチック)CFAと組み合わせると非常に良好な結果を得ることができる。 デモザイキングのための画像の単純な形成モデルを利用することができる。 同じセグメント内の自然な画像では、色の比率を維持する必要があります。 この事実は、デモザイキングのための画像に依存する補間において利用された。

画像内のピクセル相関
より洗練されたデモザイキングアルゴリズムは、カラー画像内のピクセルの空間相関および/またはスペクトル相関を利用する。 空間的相関は、ピクセルが画像の小さな均質領域内で類似の色値をとる傾向である。 スペクトル相関は、小さな画像領域内の異なる色平面の画素値間の依存性である。

これらのアルゴリズムには、

グラデーションの可変数補間は、関心のあるピクセルの近くの勾配を計算し、低い勾配(画像のより滑らかで類似する部分を表す)を使用して推定を行います。 これは、dcrawの最初のバージョンで使用され、カラーアーティファクトに悩まされています。
ピクセルグループ化では、見積もりに自然の景色に関する仮定を使用します。 それは自然画像上の色アーチファクトがVariable Number of Gradients法よりも少ない。 relからdcrawで導入されました。 「パターン化画素グループ化」として8.71。
適応均質性指向補間は、均質性メトリックを最大にするように補間の方向を選択し、一般に色アーチファクトを最小化する。 dcrawの最近のバージョンで実装されています。

ビデオ超解像度/デモザイク
超解像度とデモザイク処理は同じ問題の2つの面であり、統合された状況でそれらを扱うことは合理的であることが示されています。 これらの問題の両方がエイリアシングの問題に対処していることに注意してください したがって、特にビデオ(マルチフレーム)再構成の場合、共同超解像およびデモザイキング手法が最適解を提供する。

トレードオフ
一部の方法では、自然なシーンではより良い結果が得られます。 これは、実際にはわからないピクセルを推定する際の固有の問題を反映しています。 当然ながら、推定速度対品質の妥協点もあります。

コンピュータ画像処理ソフトウェアでの使用
デジタルカメラからの生の画像データにアクセスするとき、カメラに組み込まれたものに限らず、様々な異なるデモザイクアルゴリズムを有するコンピュータソフトウェアを使用することができる。 RawTherapeeなどのいくつかの生の開発プログラムは、使用するアルゴリズムを選択するオプションをユーザーに提供します。 しかし、ほとんどのプログラムは、特定の方法を使用するようにコーディングされています。 デモザイクアルゴリズムの選択に由来する最も細かいディテール(およびざらざらのテクスチャ)をレンダリングする際の違いは、さまざまな未処理の開発者の主な違いの1つです。 多くの場合、写真家はこの効果に関連する審美的理由のために特定のプログラムを好むでしょう。

デモザイキングによる色アーチファクトは、写真の偽造を識別するための重要な手掛かりを提供します。