Un algorithme de dématriçage est un processus d’image numérique utilisé pour reconstruire une image en couleur à partir des échantillons de couleurs incomplets émis par un capteur d’image recouvert d’un réseau de filtres de couleurs (CFA). Il est également connu comme interpolation CFA ou reconstruction de couleur.

La plupart des appareils photo numériques modernes acquièrent des images à l’aide d’un seul capteur d’image recouvert d’un CFA, de sorte que le dématriçage fait partie du pipeline de traitement requis pour rendre ces images dans un format visible.

De nombreux appareils photo numériques modernes peuvent enregistrer des images dans un format brut permettant à l’utilisateur de les démaquiller à l’aide d’un logiciel, plutôt que d’utiliser le microprogramme intégré de l’appareil photo.

Objectif
Le but d’un algorithme de dématriçage est de reconstruire une image en couleur (c’est-à-dire un ensemble complet de triplets de couleurs) à partir des canaux de couleur spatialement sous-échantillonnés provenant du CFA. L’algorithme devrait avoir les caractéristiques suivantes:

Évitement de l’introduction d’artefacts de fausses couleurs, tels que des alias chromatiques, des zips (changements brusques non naturels de l’intensité sur un certain nombre de pixels voisins) et des franges pourpres
Conservation maximale de la résolution de l’image
Faible complexité de calcul pour un traitement rapide ou une mise en œuvre matérielle efficace dans l’appareil photo
Possibilité d’analyse pour une réduction précise du bruit

Réseau de filtres de couleurs
Une matrice de filtres de couleurs est une mosaïque de filtres de couleur devant le capteur d’image. Commercialement, la configuration CFA la plus couramment utilisée est le filtre Bayer illustré ici. Il y a alternance de filtres rouge (R) et vert (G) pour les rangées impaires et alternant les filtres verts (G) et bleus (B) pour les rangées paires. Il y a deux fois plus de filtres verts que de filtres rouges ou bleus, répondant à la sensibilité plus élevée de l’œil humain au feu vert.

Comme le sous-échantillonnage de couleur d’un CFA entraîne par nature un aliasing, un filtre optique anti-aliasing est typiquement placé dans le chemin optique entre le capteur d’image et la lentille pour réduire les artefacts de fausse couleur (alias chromatiques) introduits par interpolation.

Comme chaque pixel du capteur est derrière un filtre de couleur, la sortie est un tableau de valeurs de pixel, chacune indiquant une intensité brute de l’une des trois couleurs de filtre. Ainsi, un algorithme est nécessaire pour estimer pour chaque pixel les niveaux de couleur pour tous les composants de couleur, plutôt qu’un seul composant.

Illustration
Pour reconstruire une image en couleur à partir des données collectées par le tableau de filtrage des couleurs, une forme d’interpolation est nécessaire pour remplir les blancs. Les mathématiques ici sont sujettes à une implémentation individuelle, et s’appellent démosaicing.

Dans cet exemple, nous utilisons l’interpolation bicubique d’Adobe Photoshop pour simuler les circuits d’un dispositif de filtrage Bayer tel qu’un appareil photo numérique.

L’image ci-dessous simule la sortie d’un capteur d’image filtré Bayer; chaque pixel n’a qu’un composant rouge, vert ou bleu. L’image originale correspondante est montrée à côté de la reconstruction démosaiced à la fin de cette section.

L’image reconstruite est généralement précise dans les zones de couleur uniforme, mais elle a une perte de résolution (détails et netteté) et présente des artefacts de bord (par exemple, les bords des lettres ont des franges de couleur visibles et une certaine rugosité).

Algorithmes

Interpolation simple
Ces algorithmes sont des exemples d’interpolation multivariée sur une grille uniforme, utilisant des opérations mathématiques relativement simples sur des instances proches du même composant de couleur. La méthode la plus simple est l’interpolation du plus proche voisin qui copie simplement un pixel adjacent du même canal de couleur. Il est inadapté à toute application où la qualité est importante, mais peut être utile pour générer des aperçus compte tenu des ressources de calcul limitées. Une autre méthode simple est l’interpolation bilinéaire, où la valeur rouge d’un pixel non rouge est calculée comme la moyenne des deux ou quatre pixels rouges adjacents, et de même pour le bleu et le vert. Les méthodes plus complexes qui interpolent indépendamment dans chaque plan de couleur comprennent l’interpolation bicubique, l’interpolation de spline et le rééchantillonnage de Lanczos.

Bien que ces méthodes puissent obtenir de bons résultats dans des régions d’image homogènes, elles sont sujettes à de graves artefacts de dématriçage dans des régions avec des bords et des détails lorsqu’ils sont utilisés avec des CFA de couleur pure. Cependant, l’interpolation linéaire peut obtenir de très bons résultats lorsqu’elle est combinée avec un CFA spatio-spectral (panchromatique). On pourrait exploiter des modèles simples de formation d’images pour le dématriçage. Dans les images naturelles dans le même segment, le rapport des couleurs doit être préservé. Ce fait a été exploité dans une interpolation sensible à l’image pour le dématriçage.

Corrélation de pixels dans une image
Des algorithmes de dématriçage plus sophistiqués exploitent la corrélation spatiale et / ou spectrale des pixels dans une image couleur. La corrélation spatiale est la tendance des pixels à adopter des valeurs de couleur similaires dans une petite région homogène d’une image. La corrélation spectrale est la dépendance entre les valeurs de pixels de différents plans de couleurs dans une petite région d’image.

Ces algorithmes incluent:

L’interpolation Variable Number Number of Gradients calcule les gradients proches du pixel d’intérêt et utilise les gradients inférieurs (représentant des parties plus lisses et plus similaires de l’image) pour faire une estimation. Il est utilisé dans les premières versions de dcraw et souffre d’artefacts de couleur.
Pixel Grouping utilise des hypothèses sur les paysages naturels pour faire des estimations. Il a moins d’artefacts de couleur sur les images naturelles que la méthode du nombre variable de gradients; il a été introduit dans dcraw de rel. 8.71 en tant que « groupement de pixels à motifs ».
L’interpolation adaptative axée sur l’homogénéité sélectionne la direction de l’interpolation de manière à maximiser une métrique d’homogénéité, minimisant ainsi typiquement les artefacts de couleur. Il a été implémenté dans les versions récentes de dcraw.

Super-résolution vidéo / dématriçage
Il a été démontré que la super-résolution et le dématriçage sont deux facettes du même problème et qu’il est raisonnable de les aborder dans un contexte unifié. Notez que ces deux problèmes résolvent le problème d’aliasing. Par conséquent, en particulier dans le cas de la reconstruction vidéo (multi-trame), une approche conjointe de super-résolution et de dématriçage fournit la solution optimale.

Des compromis
Certaines méthodes peuvent produire de meilleurs résultats pour les scènes naturelles, et d’autres pour les documents imprimés, par exemple. Cela reflète le problème inhérent à l’estimation des pixels que nous ne savons pas vraiment avec certitude. Naturellement, il y a aussi le compromis omniprésent entre la vitesse et la qualité de l’estimation.

Utiliser dans un logiciel de traitement d’image par ordinateur
Quand on a accès aux données d’image brutes d’un appareil photo numérique, on peut utiliser un logiciel informatique avec une variété d’algorithmes de dématriçage différents au lieu d’être limité à celui intégré dans l’appareil photo. Quelques programmes de développement bruts, tels que RawTherapee, permettent à l’utilisateur de choisir l’algorithme à utiliser. Cependant, la plupart des programmes sont codés pour utiliser une méthode particulière. Les différences dans le rendu des détails les plus fins (et la texture des grains) qui proviennent du choix de l’algorithme de dématriçage sont parmi les principales différences entre les différents développeurs bruts; Souvent, les photographes préféreront un programme particulier pour des raisons esthétiques liées à cet effet.

Les artefacts de couleur dus au dématriçage fournissent des indices importants pour l’identification des falsifications de photos.