Chroma key compositing, ou chroma keying, é uma técnica de efeitos visuais / pós-produção para composição (camadas) duas imagens ou fluxos de vídeo em conjunto com base em tons de cor (intervalo de croma). A técnica tem sido usada em muitos campos para remover um fundo do assunto de uma foto ou vídeo – particularmente as indústrias de notícias, filmes e videogames. Uma faixa de cores na imagem em primeiro plano é feita de forma transparente, permitindo que filmagens de fundo filmadas separadas ou uma imagem estática sejam inseridas na cena. A técnica de chroma keying é comumente usada na produção de vídeo e pós-produção. Esta técnica também é referida como codificação de cores, sobreposição de separação de cores (CSO, principalmente pela BBC), ou por vários termos para variantes específicas relacionadas com a cor, como tela verde e tela azul – o chroma keying pode ser feito com fundos de Qualquer cor que seja uniforme e distinta, mas os fundos verdes e azuis são mais comumente usados ​​porque diferem de forma distinta na cor da pele. Nenhuma parte do assunto que está sendo filmado ou fotografado pode duplicar a cor usada como suporte.

É comumente usado para transmissões de previsão do tempo, onde um apresentador de notícias geralmente é visto de pé na frente de um grande mapa CGI durante os noticiários de televisão ao vivo, embora na realidade seja um grande fundo azul ou verde. Ao usar uma tela azul, são adicionados mapas meteorológicos diferentes nas partes da imagem onde a cor é azul. Se o apresentador de notícias usar roupas azuis, suas roupas também serão substituídas pelo vídeo de fundo. Chroma keying também é comum na indústria do entretenimento para efeitos visuais em filmes e videogames.

História
Predecessores
Antes da introdução de mattes viajando e impressão óptica, a dupla exposição foi utilizada para introduzir elementos em uma cena que não estava presente na exposição inicial. Isso foi feito usando drapeado preto onde uma tela verde seria usada hoje. George Albert Smith usou essa abordagem pela primeira vez em 1898. Em 1903, The Great Train Robbery de Edwin S. Porter usou a exposição dupla para adicionar cenas de fundo a janelas que eram pretas quando filmadas no set, usando um matte de lixo para expor apenas as áreas da janela.

Para que os números em uma exposição realmente se movessem na frente de um fundo substituído no outro, era necessária uma matte de viagem, para ocultar a parte correta do plano de fundo em cada quadro. Em 1918, Frank Williams patenteou uma técnica matte viajando, novamente com base no uso de um fundo preto. Isso foi usado em muitos filmes, como The Invisible Man.:4

Na década de 1920, Walt Disney usou um pano de fundo branco para incluir atores humanos com personagens de desenho animado e origens em suas comédias de Alice.

Tela azul
O método da tela azul foi desenvolvido na década de 1930 em RKO Radio Pictures. Na RKO, Linwood Dunn usou uma versão inicial da matte de viagem para criar “toalhetes” – onde havia transições como um limpador de pára-brisa em filmes como Flying Down para Rio (1933). Credited a Larry Butler, uma cena com um gênio que escapou de uma garrafa foi o primeiro uso de um processo de bluescreen apropriado para criar um matte viajando para The Thief of Bagdad (1940), que ganhou o Oscar de Melhores Efeitos Especiais nesse ano. Em 1950, o funcionário da Warner Brothers e o pesquisador da ex Kodak, Arthur Widmer, começaram a trabalhar em um processo matte ultravioleta. Ele também começou a desenvolver técnicas de bluescreen: um dos primeiros filmes a usá-los foi a adaptação de 1958 da novela de Ernest Hemingway, The Old Man and the Sea, estrelado por Spencer Tracy.

Petro Vlahos recebeu um Oscar por seu refinamento dessas técnicas em 1964. Sua técnica explora o fato de que a maioria dos objetos em cenas do mundo real tem uma cor cujo componente de cor azul é similar em intensidade ao seu componente de cor verde. Zbigniew Rybczyński também contribuiu para a tecnologia bluescreen. Uma impressora óptica com dois projetores, uma câmera de filme e um “divisor de feixes”, foi usada para combinar o ator na frente de uma tela azul, juntamente com as imagens de fundo, um quadro por vez. No início da década de 1970, as redes de televisão americanas e britânicas começaram a usar paisagens verdes em vez de azuis para seus noticiários. Durante a década de 1980, minicomputadores foram usados ​​para controlar a impressora óptica. Para o filme The Empire Strikes Back, Richard Edlund criou uma “impressora óptica quad” que acelerou consideravelmente o processo e economizou dinheiro. Ele recebeu um Oscar especial pela inovação.

Durante décadas, os tiros matteiros de viagem tiveram que ser feitos “bloqueados”, de modo que nem o assunto emaranhado nem o plano de fundo pudessem mudar sua perspectiva de câmera. Mais tarde, as câmeras de controle de movimento, temporizadas por computador, aliviaram esse problema, já que tanto o primeiro plano quanto o plano de fundo podem ser filmados com os movimentos da mesma câmera.

Os meteorologistas na televisão costumam usar um monitor de campo, ao lado da tela, para ver onde estão colocando suas mãos contra as imagens de fundo. Uma técnica mais nova é projetar uma imagem fraca na tela.

Alguns filmes fazem uso intenso da chave de croma para adicionar fundos que são construídos inteiramente usando imagens geradas por computador (CGI). Os desempenhos de diferentes tomadas podem ser compostos juntos, o que permite que os atores sejam filmados separadamente e, em seguida, colocados juntos na mesma cena. A chave Chroma permite que os artistas parecem estar em qualquer local sem sair do estúdio. O desenvolvimento do computador também facilitou a incorporação de movimento em tiros compostos, mesmo quando se usavam câmeras de mão. Os pontos de referência podem ser colocados no fundo colorido (geralmente como uma grade pintada, X marcados com fita adesiva ou bolas de tenis igualmente espaçadas anexadas à parede). Na pós-produção, um computador pode usar as referências para calcular a posição da câmera e assim renderizar uma imagem que combina perfeitamente com a perspectiva e o movimento do primeiro plano. Os avanços modernos em software e poder computacional eliminaram a necessidade de posicionar com precisão os marcadores – o software descobre sua posição no espaço (uma desvantagem disso é que requer um grande movimento de câmera, possivelmente encorajando técnicas modernas de filmes onde a câmera está sempre em movimento).

Processo

O assunto principal é filmado ou fotografado em um fundo consistindo de uma única cor ou uma faixa de cores relativamente estreita, geralmente azul ou verde porque essas cores são consideradas como as mais afastadas do tom de pele. As partes do vídeo que correspondem à cor pré-selecionada são substituídas pelo vídeo de fundo alternativo. Este processo é comumente conhecido como “keying”, “keying out” ou simplesmente “key”.

Processando um pano de fundo verde
O verde é usado como pano de fundo para TV e cinematografia eletrônica mais do que qualquer outra cor, porque os meteorologistas da televisão tendiam a usar ternos azuis. Quando o chroma keying entrou em uso na produção de televisão, a tela azul que era então a norma na indústria do cinema era usada por hábito, até que outras considerações práticas levassem a indústria da televisão a se mudar das telas azul para verde. As câmeras de televisão em cores de qualidade difundidas usam sensores de imagem vermelhos, verdes e azuis separados, e os primários analistas de chroma de TV analógicos exigiram que o vídeo componente RGB funcione de forma confiável. Do ponto de vista tecnológico, era igualmente possível usar o canal azul ou verde, mas porque a roupa azul era um desafio contínuo, a tela verde entrou em uso comum. Os apresentadores de notícias às vezes esquecem o código de vestimenta da chave cromática, e quando a chave é aplicada em roupas da mesma cor que o plano de fundo, a pessoa parece desaparecer na chave. Como a roupa verde é menos comum do que o azul, logo se tornou aparente que era mais fácil usar uma tela fosca verde do que era constantemente policiar as escolhas de roupas do talento no ar. Além disso, como o olho humano é mais sensível aos comprimentos de onda verdes, que se situam no meio do espectro de luz visível, o canal de vídeo analógico verde normalmente carregou mais intensidade do sinal, proporcionando uma melhor relação sinal / ruído em relação aos outros canais de vídeo componente, então as teclas verdes da tela poderiam produzir a chave mais limpa. Na era da televisão digital e do cinema, grande parte dos ajustes necessários para criar uma chave de boa qualidade foi automatizada. No entanto, a única constante que resta é algum nível de coordenação de cores para evitar que os assuntos de primeiro plano sejam digitados.

Processando um pano de fundo azul
Antes da digitação eletrônica de croma, a composição foi feita em filme (químico). O negativo da cor da câmera foi impresso em filme preto e branco de alto contraste, usando um filtro ou a sensibilidade de cor do filme preto e branco para limitar o canal azul. Supondo que este filme tenha sido negativo, ele produziu claro onde a tela fosca azul era, preto em outro lugar, exceto que também produzia clara para objetos brancos (uma vez que também continham azul). A remoção dessas manchas pode ser feita com uma dupla exposição adequada com a cor positiva e muitas outras técnicas. O resultado final foi um fundo claro com uma forma opaca do sujeito no meio. Isso é chamado de matte feminino, semelhante a um matte alfa em chaveamento digital. Copiar este filme para outro negativo de alto contraste produziu o “matte masculino” oposto. O negativo de fundo foi então empacotado com o matte feminino e exposto a uma tira final de filme, então o negativo da câmera foi embalado com o matte masculino foi impresso duas vezes nesse mesmo filme. Essas duas imagens combinadas criam o efeito final.

Principais fatores
O fator mais importante para uma chave é a separação de cores do primeiro plano (o assunto) e do plano de fundo (a tela) – uma tela azul será usada se o assunto for predominantemente verde (por exemplo, plantas), apesar de a câmera ser mais sensível a luz verde.

Na TV colorida analógica, a cor é representada pela fase da subportadora cromática em relação a um oscilador de referência. A chave Chroma é conseguida comparando a fase do vídeo com a fase correspondente à cor pré-selecionada. As partes em fase do vídeo são substituídas pelo vídeo de fundo alternativo.

Na TV a cores digital, a cor é representada por três números (níveis de intensidade vermelho, verde e azul). A chave Chroma é conseguida através de uma simples comparação numérica entre o vídeo ea cor pré-selecionada. Se a cor em um ponto particular na tela corresponder (exatamente ou em um intervalo), o vídeo nesse ponto é substituído pelo fundo alternativo.

Iluminação
Para criar uma ilusão de que personagens e objetos filmados estão presentes na cena de fundo pretendida, a iluminação nas duas cenas deve ser uma correspondência razoável. Para cenas ao ar livre, os dias nublados criam uma luz difusa, uniformemente colorida, que pode ser mais fácil de combinar no estúdio, enquanto que a luz solar direta precisa ser combinada na direção e na cor geral com base na hora do dia.

Um tiro ao estúdio levado na frente de uma tela verde terá, naturalmente, luz ambiente da mesma cor que a tela, devido à sua dispersão de luz. Este efeito é conhecido como spill.:p20 Isso pode parecer não natural ou fazer com que partes dos personagens desapareçam, então devem ser compensadas ou evitadas usando uma tela maior colocada longe dos atores.

Câmera
A profundidade de campo usada para gravar a cena na frente da tela colorida deve coincidir com a do fundo. Isso pode significar gravar os atores com uma profundidade de campo maior do que o normal.

Roupas

Um sujeito chave de croma deve evitar o uso de roupas que são semelhantes em cor às cores da chave de croma (a menos que seja intencional, por exemplo, usando uma parte superior verde para que pareça que o sujeito não tem corpo), porque a roupa pode ser substituída pela imagem de fundo / vídeo. Um exemplo de uso intencional disso é quando um ator usa uma cobertura azul sobre uma parte de seu corpo para torná-lo invisível no tiro final. Esta técnica pode ser usada para alcançar um efeito semelhante ao usado nos filmes de Harry Potter para criar o efeito de um manto de invisibilidade. O ator também pode ser filmado contra um fundo de chave de croma e inserido no plano de fundo com um efeito de distorção, a fim de criar um manto que seja marginalmente detectável.

Dificuldades emergem com a tela azul quando uma fantasia em um tiro de efeitos deve ser azul, como a roupa azul tradicional do Superman. No filme de 2002 Spider-Man, em cenas em que o Spider-Man e o Goblin verde estão no ar, Spider-Man teve que ser baleado na frente da tela verde e o Green Goblin teve que ser baleado na frente de um azul tela. A diferença de cor é porque Spider-Man usa uma fantasia que é de cor vermelha e azul e o Goblin verde usa uma fantasia totalmente cor verde. Se ambos foram filmados na frente da mesma tela, partes de um personagem serão apagadas do tiro.

Para uma divisão limpa de primeiro plano de fundo, também é importante que roupas e cabelos no primeiro plano tenham uma silhueta bastante simples, pois detalhes finos, como cabelos crespos, podem não se resolver corretamente. Da mesma forma, elementos parcialmente transparentes do traje causam problemas.

Cor de fundo

O azul foi usado originalmente para a seleção de chroma de TV, com efeitos especiais porque o tom de pele humana contém muito pouco azul e porque a indústria do filme usava fundos azuis para fins semelhantes. A cor azul estava amarrada à camada de emulsão azul de filme com grãos e detalhes comparáveis ​​em comparação com as camadas vermelha e verde da emulsão. Na televisão e no cinema digital, no entanto, o verde tornou-se a cor favorita devido a algumas considerações práticas, e porque os algoritmos de compressão com perdas usados ​​na distribuição de TV analógica e digital mantêm mais detalhes no canal verde. A escolha da cor depende dos efeitos dos artistas e das necessidades do tiro específico. Considerando que a tela azul foi introduzida na indústria da televisão pela indústria cinematográfica, o uso de efeitos visuais de tela verde foi introduzido no setor cinematográfico, já que a imagem eletrônica aumentou e substituiu o uso do estoque de filme químico no cinema. Além disso, o fundo verde é favorecido em azul para filmagens ao ar livre, onde o céu azul pode aparecer no quadro e pode ser substituído acidentalmente no processo. Embora o verde e o azul sejam os mais comuns em parte porque os componentes vermelho, verde e azul são usados ​​para codificar o espectro de luz visível, qualquer cor chave pode ser usada. O vermelho é evitado para seres humanos devido à sua prevalência em pigmentos de pele humanos normais, mas pode ser usado frequentemente para objetos e cenas que não envolvem pessoas.

A chamada “tela amarela” é realizada com um pano de fundo branco. A iluminação de estágio comum é usada em combinação com uma lâmpada de sódio amarelo brilhante. A luz de sódio cai quase inteiramente em uma banda de freqüência estreita, que pode então ser separada da outra luz usando um prisma e projetada para um transportador de filme separado, mas sincronizado dentro da câmera. Este segundo filme é de alto contraste preto e branco e é processado para produzir o matte.:16

Ocasionalmente, um fundo magenta é usado, como em algumas aplicações de software onde a magenta ou fúcsia às vezes é referida como “rosa mágico”.

Uma técnica mais nova é usar uma cortina retrorreflectora em segundo plano, juntamente com um anel de LEDs brilhantes ao redor da lente da câmera. Isso não requer luz para brilhar no fundo além dos LEDs, que usam uma quantidade extremamente pequena de energia e espaço ao contrário das luzes do grande estágio e não requerem manipulação. Este avanço foi possibilitado pela invenção na década de 1990 de LEDs LED práticos, que também permitem LEDs de cor verde esmeralda.

Há também uma forma de codificação de cores que usa o espectro de luz invisível ao olho humano. Chamado Thermo-Key, ele usa o infravermelho como a cor da chave, que não seria substituída pela imagem de fundo durante o pós-processamento.

Para Star Trek: The Next Generation, um processo de matting de luz ultravioleta foi proposto por Don Lee de CIS Hollywood e desenvolvido por Gary Hutzel e a equipe da Image G. Isso envolveu um cenário laranja fluorescente que facilitou a geração de um matte de retenção, assim permitindo que a equipe de efeitos produza efeitos em uma quarta parte do tempo necessário para outros métodos.

Em princípio, qualquer tipo de fundo estável pode ser usado como uma chave de croma em vez de uma cor sólida. Primeiro, o fundo é capturado sem atores ou outros elementos de primeiro plano; então a cena é gravada. A imagem do plano de fundo é usada para cancelar o plano de fundo na filmagem real; por exemplo em uma imagem digital, cada pixel terá uma chave de croma diferente. Isso às vezes é referido como uma diferença mate. No entanto, isso facilita a remoção acidental de objetos se eles forem semelhantes ao plano de fundo, ou o fundo permanecerá devido ao ruído da câmera ou se isso mudar ligeiramente da filmagem de referência. Um plano de fundo com um padrão de repetição alivia muitos desses problemas e pode ser menos sensível à cor do guarda-roupa do que os quadros de cores sólidas.

Tolerâncias
Mesmo iluminando

o maior desafio ao configurar uma tela blues ou uma tela verde é mesmo a iluminação e evitando a sombra, porque é melhor ter uma faixa de cor tão pequena quanto possível sendo substituída. Uma sombra se apresentaria como uma cor mais escura para a câmera e talvez não se registre para substituição. Isso às vezes pode ser visto em transmissões de baixo orçamento ou em tempo real, onde os erros não podem ser reparados manualmente. O material que está sendo usado afeta a qualidade e a facilidade de tê-lo iluminado uniformemente. Os materiais que são brilhantes serão muito menos bem sucedidos do que aqueles que não são. Uma superfície brilhante terá áreas que refletem as luzes, fazendo com que elas pareçam pálidas, enquanto outras áreas podem escurecer. Uma superfície mate irá difundir a luz refletida e ter uma gama de cores mais uniforme. Para obter a chave mais limpa da gravação de tela verde, é necessário criar uma diferença de valor entre o assunto e a tela verde. Para diferenciar o assunto da tela, pode-se usar uma diferença de dois pontos, tornando a tela verde duas paradas maior do que a matéria, ou vice-versa.

Às vezes, uma sombra pode ser usada para criar um efeito visual. Áreas da bluescreen ou greenscreen com uma sombra nelas podem ser substituídas por uma versão mais escura da imagem de vídeo de fundo desejada, fazendo com que pareça que a pessoa está lançando uma sombra sobre elas. Qualquer derrame da cor da chave cromática fará com que o resultado pareça não natural. Uma diferença na distância focal das lentes utilizadas pode afetar o sucesso da chave de croma.

Exposição

Outro desafio para bluescreen ou greenscreen é a exposição adequada da câmera. A exclusão ou superexposição de um cenário colorido pode levar a níveis de saturação fracos. No caso das câmeras de vídeo, imagens subexpostas podem conter altas quantidades de ruído também. O plano de fundo deve ser suficientemente brilhante para permitir que a câmera crie uma imagem brilhante e saturada.

Programação
Existem várias técnicas diferentes de qualidade e velocidade para implementar o código de cores no software.

Na maioria das versões, uma função f (r, g, b) → α é aplicada a cada pixel na imagem. α (alfa) tem um significado semelhante ao das técnicas de composição alfa. α ≤ 0 significa que o pixel está completamente na tela verde, α ≥ 1 significa que o pixel está totalmente no objeto de primeiro plano, e os valores intermediários indicam que o pixel é parcialmente coberto pelo objeto de primeiro plano (ou é transparente). Uma outra função g (r, g, b) → (r, g, b) é necessária para remover o derramamento verde nos objetos de primeiro plano.

Uma função f () muito simples para tela verde é A (r + b) – Bg onde A e B são constantes ajustáveis ​​pelo usuário com um valor padrão de 1,0. Um g () é muito simples (r, min (g, b), b). Isso é bastante próximo das capacidades de puxar a tela analógica e baseada em filme.

Os exemplos modernos dessas funções são melhor descritos por duas superfícies aninhadas fechadas no espaço rgb 3-D, muitas vezes bastante complexas. As cores dentro da superfície interna são consideradas tela verde. As cores fora da superfície externa são um primeiro plano opaco. As cores entre as superfícies são parcialmente cobertas, elas são mais opacas, quanto mais perto elas estão na superfície externa. Às vezes, mais superfícies fechadas são usadas para determinar como remover o derramamento verde. Também é muito comum que f () dependa de mais do que apenas a cor do pixel atual, também pode usar a posição (x, y), os valores dos pixels próximos, o valor das imagens de referência ou um modelo de cor estatística do cena e valores de máscaras desenhadas pelo usuário. Estes produzem superfícies fechadas em um espaço com mais de três dimensões.

Uma classe diferente de algoritmo tenta descobrir um caminho 2D que separa o primeiro plano do fundo. Este caminho pode ser a saída, ou a imagem pode ser desenhada preenchendo o caminho com α = 1 como etapa final. Um exemplo desse algoritmo é o uso do contorno ativo. A maioria das pesquisas nos últimos anos tem sido nesses algoritmos.