La composition par incrustation chromatique, ou incrustation par incrustation chromatique, est une technique d’effets visuels / post-production pour la composition (superposition) de deux images ou flux vidéo en se basant sur des teintes de couleur (gamme de chrominance). La technique a été largement utilisée dans de nombreux domaines pour supprimer un arrière-plan du sujet d’une photo ou d’une vidéo – en particulier les industries de l’information télévisée, du cinéma et du jeu vidéo. Une gamme de couleurs dans le métrage de premier plan est rendue transparente, ce qui permet d’insérer des images de fond filmées séparément ou d’insérer une image statique dans la scène. La technique d’incrustation chromatique est couramment utilisée dans la production vidéo et la post-production. Cette technique est également appelée incrustation de couleur, superposition de séparation des couleurs (CSO, principalement par la BBC), ou par divers termes pour des variantes spécifiques de couleur telles que l’écran vert, et l’écran bleu – le chroma keying peut être fait avec toutes les couleurs qui sont uniformes et distinctes, mais les milieux vert et bleu sont plus communément utilisés, car ils diffèrent plus distinctement de la teinte de la plupart des couleurs de la peau humaine. Aucune partie du sujet filmé ou photographié ne peut reproduire la couleur utilisée comme support.

Il est couramment utilisé pour les émissions de prévisions météorologiques, où un présentateur de nouvelles est généralement vu debout devant une grande carte CGI pendant les bulletins de télévision en direct, bien qu’en réalité il s’agit d’un grand fond bleu ou vert. Lorsque vous utilisez un écran bleu, différentes cartes météo sont ajoutées sur les parties de l’image où la couleur est bleue. Si le présentateur porte des vêtements bleus, ses vêtements seront également remplacés par la vidéo de fond. Chroma keying est également commun dans l’industrie du divertissement pour les effets visuels dans les films et les jeux vidéo.

Histoire
Prédécesseurs
Avant l’introduction des mattes de voyage et de l’impression optique, une double exposition était utilisée pour introduire des éléments dans une scène qui n’étaient pas présents dans l’exposition initiale. Cela a été fait en utilisant un drapage noir où un écran vert serait utilisé aujourd’hui. George Albert Smith utilisa cette approche pour la première fois en 1898. En 1903, The Great Train Robbery d’Edwin S. Porter utilisa une double exposition pour ajouter des scènes de fond à des fenêtres qui étaient noires lorsqu’elles étaient tournées sur un plateau.

Pour que les chiffres d’une exposition se déplacent effectivement devant un arrière-plan substitué dans l’autre, un cache mobile était nécessaire pour occlure la bonne portion de l’arrière-plan dans chaque image. En 1918, Frank Williams a breveté une technique de matage itinérant, toujours basée sur l’utilisation d’un fond noir. Cela a été utilisé dans de nombreux films, tels que The Invisible Man.:4

Dans les années 1920, Walt Disney a utilisé un fond blanc pour inclure des acteurs humains avec des personnages de dessins animés et des arrière-plans dans ses Comédies Alice.

Écran bleu
La méthode de l’écran bleu a été développée dans les années 1930 à RKO Radio Pictures. Chez RKO, Linwood Dunn a utilisé une première version de la matte de voyage pour créer des «lingettes» – où il y avait des transitions comme un essuie-glace dans des films tels que Flying Down to Rio (1933). Crédité à Larry Butler, une scène mettant en vedette un génie s’échappant d’une bouteille était la première utilisation d’un processus de bluescreen approprié pour créer une matte de voyage pour The Thief of Bagdad (1940), qui a remporté l’Oscar des meilleurs effets spéciaux cette année. En 1950, l’employé de Warner Brothers et ancien chercheur de Kodak, Arthur Widmer, a commencé à travailler sur un procédé de matte de voyage ultraviolet. Il a également commencé à développer des techniques de bluescreen: l’un des premiers films à les utiliser était l’adaptation en 1958 de la nouvelle d’Ernest Hemingway, The Old Man and the Sea, avec Spencer Tracy.

Petro Vlahos a reçu un Oscar pour son raffinement de ces techniques en 1964. Sa technique exploite le fait que la plupart des objets dans les scènes du monde réel ont une couleur dont la composante de couleur bleue est similaire en intensité à leur composante de couleur verte. Zbigniew Rybczyński a également contribué à la technologie bluescreen. Une imprimante optique avec deux projecteurs, une caméra de film et un ‘splitter de faisceau’ a été utilisée pour combiner l’acteur devant un écran bleu avec le métrage d’arrière-plan, une image à la fois. Au début des années 1970, les réseaux de télévision américains et britanniques ont commencé à utiliser des décors verts plutôt que bleus pour leurs bulletins de nouvelles. Au cours des années 1980, des mini-ordinateurs ont été utilisés pour contrôler l’imprimante optique. Pour le film The Empire Strikes Back, Richard Edlund a créé une «imprimante optique quadruple» qui a considérablement accéléré le processus et économisé de l’argent. Il a reçu un Oscar spécial pour son innovation.

Pendant des décennies, les prises de vue en mode mat devaient être «verrouillées», de sorte que ni le sujet mat ni l’arrière-plan ne puissent changer la perspective de la caméra. Plus tard, des caméras contrôlées par ordinateur, à commande de mouvement, ont résolu ce problème, car le premier plan et l’arrière-plan pouvaient être filmés avec les mêmes mouvements de caméra.

Les météorologues à la télévision utilisent souvent un moniteur de terrain, sur le côté de l’écran, pour voir où ils mettent leurs mains contre les images de fond. Une technique plus récente consiste à projeter une image faible sur l’écran.

Certains films font un usage intensif de la clé chroma pour ajouter des arrière-plans construits entièrement à l’aide d’images générées par ordinateur (CGI). Les performances de différentes prises peuvent être composées ensemble, ce qui permet aux acteurs d’être filmés séparément puis placés ensemble dans la même scène. La touche Chroma permet aux artistes d’apparaître dans n’importe quel endroit sans quitter le studio. Le développement informatique a également facilité l’intégration du mouvement dans les prises de vue composées, même en utilisant des appareils photo portatifs. Les points de référence peuvent être placés sur l’arrière-plan coloré (habituellement comme une grille peinte, X marqué avec du ruban adhésif, ou des balles de tennis équidistantes attachées au mur). En post-production, un ordinateur peut utiliser les références pour calculer la position de la caméra et ainsi rendre une image qui correspond parfaitement à la perspective et au mouvement du premier plan. Les avancées modernes en matière de logiciels et de puissance computationnelle ont éliminé la nécessité de placer correctement les marqueurs – le logiciel détermine leur position dans l’espace (un inconvénient est qu’il nécessite un grand mouvement de caméra, encourageant des techniques cinématographiques modernes où la caméra est toujours mouvement).

Processus

Le sujet principal est filmé ou photographié sur un fond constitué d’une seule couleur ou d’une gamme de couleurs relativement étroite, généralement bleu ou vert, car ces couleurs sont considérées comme les plus éloignées du teint. Les parties de la vidéo qui correspondent à la couleur présélectionnée sont remplacées par la vidéo d’arrière-plan alternative. Ce processus est communément appelé « keying », « keying out » ou simplement « key ».

Traitement d’un fond vert
Le vert est utilisé comme toile de fond pour la télévision et la cinématographie électronique plus que toute autre couleur parce que les météorologues de la télévision avaient tendance à porter des costumes bleus. Lorsque le chroma keying est apparu pour la première fois dans la production télévisuelle, l’écran bleu qui était alors la norme dans l’industrie cinématographique a été utilisé par habitude, jusqu’à ce que d’autres considérations pratiques obligent l’industrie télévisuelle à passer du bleu au vert. Les caméras de télévision couleur de qualité broadcast utilisent des capteurs d’images rouges, verts et bleus séparés, et les premiers keyers chromatiques analogiques ont exigé que la vidéo composante RVB fonctionne de manière fiable. D’un point de vue technologique, il était également possible d’utiliser le canal bleu ou vert, mais comme les vêtements bleus représentaient un défi permanent, l’écran vert est devenu d’usage courant. Les présentateurs oublient parfois le code vestimentaire Chroma Key, et lorsque la touche est appliquée à des vêtements de la même couleur que l’arrière-plan, la personne semble disparaître dans la clé. Parce que les vêtements verts sont moins fréquents que le bleu, il est rapidement devenu évident qu’il était plus facile d’utiliser un écran matte vert que de contrôler constamment les choix de vêtements des talents en ondes. De plus, comme l’œil humain est plus sensible aux longueurs d’onde vertes, situées au milieu du spectre de la lumière visible, le canal vidéo analogique vert présente généralement plus de puissance, ce qui donne un meilleur rapport signal sur bruit que les autres composantes. les touches d’écran vertes pourraient donc produire la clé la plus propre. À l’ère de la télévision numérique et du cinéma, une grande partie des modifications nécessaires pour créer une bonne clé de qualité a été automatisée. Cependant, la seule constante qui reste est un certain niveau de coordination des couleurs pour éviter que les sujets de premier plan ne soient effacés.

Traitement d’un fond bleu
Avant l’incrustation chromatique électronique, la composition a été réalisée sur un film (chimique). Le négatif couleur de la caméra a été imprimé sur un film noir et blanc à contraste élevé, en utilisant un filtre ou la sensibilité de la couleur du film noir et blanc pour le limiter au canal bleu. En supposant que ce film était négatif, il produisait clairement l’endroit où se trouvait l’écran bleu mat, noir ailleurs, sauf qu’il produisait aussi clairement pour tous les objets blancs (puisqu’ils contenaient aussi du bleu). Enlever ces taches pourrait être fait par une double exposition appropriée avec la couleur positive, et de nombreuses autres techniques. Le résultat final était un fond clair avec une forme opaque du sujet au milieu. C’est ce qu’on appelle un mat féminin, semblable à un cache alpha dans la saisie numérique. La copie de ce film sur un autre négatif à fort contraste produisait le ‘matte masculin’ opposé. Le négatif de fond a ensuite été emballé avec la matte femelle et exposé sur une dernière bande de film, puis le négatif de la caméra a été emballé avec le mat mâle a été imprimé en double sur ce même film. Ces deux images combinées ensemble créent l’effet final.

Facteurs majeurs
Le facteur le plus important pour une touche est la séparation des couleurs du premier plan (le sujet) et de l’arrière-plan (l’écran) – un écran bleu sera utilisé si le sujet est principalement vert (par exemple les plantes), lumière verte.

En télévision couleur analogique, la couleur est représentée par la phase de la sous-porteuse de chrominance par rapport à un oscillateur de référence. La clé de chrominance est obtenue en comparant la phase de la vidéo à la phase correspondant à la couleur présélectionnée. Les parties en phase de la vidéo sont remplacées par la vidéo d’arrière-plan alternative.

Dans la TV couleur numérique, la couleur est représentée par trois nombres (niveaux d’intensité rouge, vert et bleu). La touche Chroma est obtenue par une simple comparaison numérique entre la vidéo et la couleur présélectionnée. Si la couleur à un point particulier de l’écran correspond (soit exactement, soit dans une plage), alors la vidéo à ce point est remplacée par l’arrière-plan alternatif.

Éclairage
Afin de créer l’illusion que les personnages et les objets filmés sont présents dans la scène d’arrière-plan voulue, l’éclairage des deux scènes doit être raisonnable. Pour les scènes en plein air, les journées couvertes créent une lumière diffuse et uniformément colorée qui peut être plus facile à assortir dans le studio, tandis que la lumière directe du soleil doit être adaptée dans les deux sens et la couleur globale selon l’heure du jour.

Un studio pris devant un écran vert aura naturellement la lumière ambiante de la même couleur que l’écran, en raison de sa diffusion de la lumière. Cet effet est connu sous le nom de spill.:p20 Cela peut sembler anormal ou faire disparaître des parties des personnages, il doit donc être compensé ou évité en utilisant un écran plus grand placé loin des acteurs.

Caméra
La profondeur de champ utilisée pour enregistrer la scène devant l’écran coloré doit correspondre à celle de l’arrière-plan. Cela peut signifier enregistrer les acteurs avec une plus grande profondeur de champ que la normale.

Vêtements

Un sujet de chroma key doit éviter de porter des vêtements de couleur similaire à la couleur de la touche chroma (à moins que ce ne soit intentionnel, par exemple porter un haut vert pour faire croire que le sujet n’a pas de corps), car le vêtement peut être remplacé par image de fond / vidéo. Un exemple d’utilisation intentionnelle de ceci est quand un acteur porte une couverture bleue sur une partie de son corps pour le rendre invisible dans le tir final. Cette technique peut être utilisée pour obtenir un effet similaire à celui utilisé dans les films Harry Potter pour créer l’effet d’une cape d’invisibilité. L’acteur peut également être filmé sur un arrière-plan de chrominance et inséré dans le fond avec un effet de distorsion, afin de créer une cape qui est marginalement détectable.

Les difficultés émergent avec l’écran bleu quand un costume dans un tir d’effets doit être bleu, comme la tenue bleue traditionnelle de Superman. Dans le film Spider-Man de 2002, dans les scènes où Spider-Man et le Green Goblin sont en l’air, Spider-Man a dû être abattu devant l’écran vert et le Green Goblin a dû être abattu devant un bleu écran. La différence de couleur est parce que Spider-Man porte un costume qui est de couleur rouge et bleu et le lutin vert porte un costume qui est entièrement de couleur verte. Si les deux ont été tirés devant le même écran, des parties d’un personnage seraient effacées du tir.

Pour une division nette du premier plan de l’arrière-plan, il est également important que les vêtements et les cheveux du premier plan aient une silhouette assez simple, car les petits détails tels que les cheveux crépus ne se résolvent pas correctement. De même, les éléments partiellement transparents du costume posent des problèmes.

Couleur de fond

Le bleu a été utilisé à l’origine pour les effets spéciaux de la TV Chroma Keying parce que la peau humaine contient très peu de bleu, et parce que l’industrie du film a utilisé des fonds bleus à des fins similaires. La couleur bleue était liée à la couche de film d’émulsion bleue ayant un grain et un détail comparables à ceux des couches rouge et verte de l’émulsion. Dans la télévision et le cinéma numérique, cependant, le vert est devenu la couleur préférée en raison de certaines considérations pratiques, et parce que les algorithmes de compression avec perte utilisés dans la distribution TV analogique et numérique conservent plus de détails dans le canal vert. Le choix de la couleur est à la hauteur des effets des artistes et des besoins du tir spécifique. Alors que l’industrie cinématographique a introduit l’écran bleu dans l’industrie de la télévision, l’utilisation d’effets visuels verts a été introduite dans l’industrie cinématographique, l’imagerie électronique ayant augmenté et remplacé l’utilisation de pellicules chimiques dans le cinéma. En outre, le fond vert est favorisé sur bleu pour le tournage en plein air où le ciel bleu pourrait apparaître dans le cadre et pourrait accidentellement être remplacé dans le processus. Bien que le vert et le bleu soient les plus communs en partie parce que les composants rouges, verts et bleus sont utilisés pour coder le spectre de la lumière visible, n’importe quelle couleur principale peut être utilisée. Le rouge est évité pour les sujets humains en raison de sa prévalence dans les pigments de la peau humaine normale, mais peut être souvent utilisé pour des objets et des scènes qui n’impliquent pas les gens.

Ce qu’on appelle un « écran jaune » est accompli avec un fond blanc. L’éclairage de scène ordinaire est utilisé en combinaison avec une lampe au sodium jaune vif. La lumière de sodium tombe presque entièrement dans une bande de fréquence étroite, qui peut ensuite être séparée de l’autre lumière en utilisant un prisme, et projetée sur un support de film séparé mais synchronisé dans la caméra. Ce second film est en noir et blanc à contraste élevé et est traité pour produire le mat.

Parfois, un fond magenta est utilisé, comme dans certaines applications logicielles où le magenta ou le fuchsia est parfois appelé « rose magique ».

Une technique plus récente consiste à utiliser un rideau rétroréfléchissant à l’arrière-plan, ainsi qu’un anneau de DEL brillantes autour de l’objectif de la caméra. Cela ne nécessite aucune lumière pour briller sur le fond autre que les LED, qui utilisent une très faible quantité de puissance et d’espace contrairement aux grandes lumières de scène, et ne nécessitent aucun gréement. Cette avancée a été rendue possible grâce à l’invention, dans les années 1990, de LED bleues pratiques, qui permettent également d’utiliser des LED vert émeraude.

Il existe également une forme de codage de couleur qui utilise un spectre de lumière invisible pour l’œil humain. Appelé Thermo-Key, il utilise l’infrarouge comme couleur clé, qui ne serait pas remplacée par l’image d’arrière-plan pendant le post-traitement.

Pour Star Trek: The Next Generation, un procédé de matage de lumière ultraviolette a été proposé par Don Lee de CIS Hollywood et développé par Gary Hutzel et l’équipe de Image G. Il s’agissait d’un fond orange fluorescent qui facilitait la génération d’une matte de retenue, donc permettre à l’équipe des effets de produire des effets dans le quart du temps nécessaire pour d’autres méthodes.

En principe, tout type d’arrière-plan fixe peut être utilisé comme une clé de chrominance au lieu d’une couleur unie. D’abord, l’arrière-plan est capturé sans acteurs ou autres éléments de premier plan; alors la scène est enregistrée. L’image de l’arrière-plan est utilisée pour annuler l’arrière-plan dans le métrage réel; par exemple dans une image numérique, chaque pixel aura une clé de chrominance différente. Ceci est parfois appelé un mat de différence. Cependant, cela facilite le retrait accidentel des objets s’ils sont similaires à l’arrière-plan, ou si l’arrière-plan reste dû au bruit de la caméra ou s’il change légèrement par rapport au métrage de référence. Un fond avec un motif répété atténue beaucoup de ces problèmes et peut être moins sensible à la couleur de la garde-robe que les toiles de fond de couleur unie.

Les tolérances
Éclairage uniforme

Le plus grand défi lors de la mise en place d’un écran bleu ou d’un écran vert est l’éclairage uniforme et l’évitement de l’ombre, car il est préférable d’avoir une gamme de couleurs aussi étroite que possible étant remplacé. Une ombre se présenterait comme une couleur plus sombre à l’appareil photo et pourrait ne pas enregistrer pour le remplacement. Cela peut parfois être vu dans les émissions à petit budget ou en direct où les erreurs ne peuvent pas être réparées manuellement. Le matériau utilisé affecte la qualité et la facilité de l’allumer uniformément. Les matériaux qui brillent seront beaucoup moins efficaces que ceux qui ne le sont pas. Une surface brillante aura des zones qui reflètent les lumières qui les rendent pâles, alors que d’autres zones peuvent être obscurcies. Une surface mate diffusera la lumière réfléchie et aura une gamme de couleurs plus uniforme. Afin d’obtenir la clé la plus propre de greenscreen, il est nécessaire de créer une différence de valeur entre le sujet et le vert. Afin de différencier le sujet de l’écran, une différence de deux arrêts peut être utilisée, soit en faisant passer le vert deux fois plus haut que le sujet, ou vice versa.

Parfois, une ombre peut être utilisée pour créer un effet visuel. Les zones de l’écran bleu ou vert avec une ombre sur eux peuvent être remplacées par une version plus sombre de l’image vidéo de fond souhaitée, donnant l’impression que la personne projette une ombre sur elles. Tout déversement de la couleur de la clé chroma rendra le résultat non naturel. Une différence dans la distance focale des lentilles utilisées peut affecter le succès de la clé chroma.

Exposition

Un autre défi pour le bluescreen ou le greenscreen est une bonne exposition de la caméra. La sous-exposition ou la surexposition d’une toile de fond colorée peut entraîner de faibles niveaux de saturation. Dans le cas des caméras vidéo, les images sous-exposées peuvent également contenir beaucoup de bruit. L’arrière-plan doit être assez lumineux pour permettre à l’appareil photo de créer une image lumineuse et saturée.

La programmation
Il existe différentes techniques optimisées en termes de qualité et de vitesse pour l’implémentation de la gestion des couleurs dans les logiciels.

Dans la plupart des versions, une fonction f (r, g, b) → α est appliquée à chaque pixel de l’image. α (alpha) a une signification similaire à celle des techniques de composition alpha. α ≤ 0 signifie que le pixel est entièrement dans l’écran vert, α ≥ 1 signifie que le pixel est entièrement dans l’objet de premier plan, et les valeurs intermédiaires indiquent que le pixel est partiellement couvert par l’objet de premier plan (ou transparent). Une autre fonction g (r, g, b) → (r, g, b) est nécessaire pour supprimer le déversement vert sur les objets de premier plan.

Une fonction f () très simple pour l’écran vert est A (r + b) – Bg où A et B sont des constantes ajustables par l’utilisateur avec une valeur par défaut de 1.0. Un g () très simple est (r, min (g, b), b). Ceci est assez proche des capacités de l’écran analogique et cinématographique.

Des exemples modernes de ces fonctions sont mieux décrits par deux surfaces imbriquées fermées dans l’espace rgb 3-D, souvent assez complexes. Les couleurs à l’intérieur de la surface interne sont considérées comme un écran vert. Les couleurs à l’extérieur de la surface extérieure sont opaques au premier plan. Les couleurs entre les surfaces sont partiellement couvertes, elles sont plus opaques plus elles sont proches de la surface extérieure. Parfois, des surfaces plus fermées sont utilisées pour déterminer comment éliminer le déversement vert. Il est également très fréquent que f () dépende de plus que la couleur du pixel courant, il peut également utiliser la position (x, y), les valeurs des pixels proches, la valeur des images de référence ou un modèle de couleur statistique du scène, et les valeurs des masques dessinés par l’utilisateur. Ceux-ci produisent des surfaces fermées dans un espace de plus de trois dimensions.

Une classe d’algorithme différente essaie de trouver un chemin 2D qui sépare le premier plan de l’arrière-plan. Ce chemin peut être la sortie, ou l’image peut être dessinée en remplissant le chemin avec α = 1 comme étape finale. Un exemple d’un tel algorithme est l’utilisation du contour actif. La plupart des recherches de ces dernières années ont porté sur ces algorithmes.