디 모자이징 (de-mosaicing, demosaicking 또는 debayering) 알고리즘은 컬러 필터 어레이 (CFA)로 오버레이 된 이미지 센서에서 출력 된 불완전한 컬러 샘플로부터 풀 컬러 이미지를 재구성하는 데 사용되는 디지털 이미지 프로세스입니다. CFA 보간 또는 색상 재구성이라고도합니다.
대부분의 최신 디지털 카메라는 CFA로 오버레이 된 단일 이미지 센서를 사용하여 이미지를 얻습니다. 따라서 디 모자이 싱은 이러한 이미지를 볼 수있는 형식으로 렌더링하는 데 필요한 처리 파이프 라인의 일부입니다.
대부분의 최신 디지털 카메라는 이미지를 원시 형식으로 저장하여 사용자가 카메라의 내장 펌웨어를 사용하는 대신 소프트웨어를 사용하여 이미지를 디모 자이 팅 할 수 있도록합니다.
골
디 모사 싱 알고리즘의 목적은 CFA로부터 출력 된 공간적으로 언더 샘플링 된 컬러 채널로부터 풀 컬러 이미지 (즉, 컬러 트리플의 전체 세트)를 재구성하는 것이다. 알고리즘에는 다음과 같은 특징이 있어야합니다.
크로매틱 앨리어스, 지퍼 링 (zippering) (인접 픽셀 수에 대한 강도의 부 자연스러운 변화) 및 자주색 번짐 (fringing)과 같은 잘못된 색상 인공물의 도입을 방지합니다.
이미지 해상도의 최대 보존
빠른 처리 또는 효율적인 카메라 내부 하드웨어 구현을위한 낮은 계산 복잡성
정확한 소음 감소를위한 분석의 가역성
컬러 필터 배열
컬러 필터 배열은 이미지 센서 앞에있는 컬러 필터의 모자이크입니다. 상업적으로 가장 일반적으로 사용되는 CFA 구성은 여기에 설명 된 베이어 필터입니다. 이것은 짝수 행에 대해 적색 (R) 및 녹색 (G) 필터가 짝수 행에 대해 교대로 녹색 (G) 및 파란색 (B) 필터를 교대로 사용합니다. 인간의 눈의 초록색 빛에 대한 민감도를 높이기 위해 적색 또는 청색 필터보다 2 배 많은 녹색 필터가 있습니다.
그 특성상 CFA의 컬러 서브 샘플링은 에일리어싱을 초래하기 때문에, 일반적으로 광학 앤티 앨리어싱 필터는 이미지 센서와 렌즈 사이의 광학 경로에 배치되어 보간에 의해 도입 된 잘못된 색상 아티팩트 (색채 가명)를 줄입니다.
센서의 각 픽셀은 컬러 필터 뒤에 있기 때문에 출력은 픽셀 값의 배열이며 각 픽셀 값은 세 가지 필터 색상 중 하나의 원시 강도를 나타냅니다. 따라서, 각 픽셀에 대해 단일 컴포넌트가 아닌 모든 컬러 컴포넌트의 컬러 레벨을 추정하는 알고리즘이 필요합니다.
삽화
컬러 필터링 어레이에 의해 수집 된 데이터로부터 풀 컬러 이미지를 재구성하기 위해, 블랭크를 채우기 위해 보간법이 필요하다. 여기에있는 수학은 개별 구현에 따라 달라지며, 이는 디모 자이 싱이라고합니다.
이 예에서는 Adobe Photoshop의 bicubic 보간법을 사용하여 디지털 카메라와 같은 Bayer 필터 장치의 회로를 시뮬레이션합니다.
아래 이미지는 베이어 필터링 이미지 센서의 출력을 시뮬레이션합니다. 각 픽셀은 적색, 녹색 또는 청색 성분만을 갖는다. 해당 원본 이미지는이 섹션의 끝 부분에 디모 자 싱된 재구성과 함께 표시됩니다.
재구성 된 이미지는 일반적으로 균일 한 색상의 영역에서는 정확하지만 해상도 (선명도 및 세부 묘사)가 떨어지고 모서리 아티팩트가 생깁니다 (예 : 글자 가장자리에 색상 얼룩이 있고 거칠기가 있음).
알고리즘
단순 보간법
이러한 알고리즘은 동일한 색상 구성 요소의 인근 인스턴스에 대해 비교적 간단한 수학 연산을 사용하여 균일 한 격자에서 다 변수 보간의 예입니다. 가장 간단한 방법은 동일한 색상 채널의 인접 픽셀을 단순히 복사하는 가장 가까운 이웃 보간법입니다. 품질 문제가있는 모든 응용 프로그램에는 적합하지 않지만 제한된 계산 리소스가있는 경우 미리보기를 생성하는 데 유용 할 수 있습니다. 또 다른 간단한 방법은 바이 리니어 보간법입니다. 비 적색 픽셀의 적색 값은 두 개 또는 네 개의 인접한 적색 픽셀의 평균으로 계산되며 파란색과 녹색에 대해서도 마찬가지로 계산됩니다. 각 색상 평면 내에서 독립적으로 보간하는 더 복잡한 방법에는 쌍 삼차 보간법, 스플라인 보간법 및 Lanczos 재 샘플링이 있습니다.
이러한 방법이 균일 한 이미지 영역에서 좋은 결과를 얻을 수는 있지만 순수한 CFA와 함께 사용할 경우 에지 및 디테일이있는 영역에서 심각한 디모 자이 싱 아티팩트가 발생하기 쉽습니다. 그러나 선형 보간법은 공간 – 스펙트럼 (panchromatic) CFA와 결합 할 때 매우 좋은 결과를 얻을 수 있습니다. 하나는 디 모자이 케이션을위한 이미지의 간단한 형성 모델을 활용할 수 있습니다. 동일한 세그먼트 내의 자연스러운 이미지에서 색상 비율을 유지해야합니다. 이 사실은 디모 자이 킹 (demosaicing)을위한 이미지 고밀도 보간 (image sensitive interpolation)에서 이용되었습니다.
이미지 내의 픽셀 상관 관계
보다 정교한 디모 자이 킹 알고리즘은 컬러 이미지 내의 픽셀의 공간 및 / 또는 스펙트럼 상관을 이용합니다. 공간 상관 관계는 픽셀이 이미지의 작은 균일 한 영역 내에서 유사한 색상 값을 차지하는 경향입니다. 스펙트럼 상관은 작은 이미지 영역에서 다른 색상 평면의 픽셀 값 사이의 종속성입니다.
이러한 알고리즘에는 다음이 포함됩니다.
가변 개수의 그라디언트 보간은 관심있는 픽셀 근처의 그라디언트를 계산하고 낮은 그라디언트 (이미지의 더 부드럽고 유사한 부분을 나타냄)를 사용하여 예측합니다. dcraw의 첫 번째 버전에서 사용되며 색상 결함이 있습니다.
픽셀 그룹은 자연 경관에 대한 가정을 추정하여 사용합니다. 자연스러운 이미지에서 Variable Number of Gradients 방법보다 색상 유물이 적습니다. 그것은 rel에서 dcraw에서 소개되었습니다. “패턴 화 된 픽셀 그룹화”로 8.71.
적응 동질 지향 보간법은 동질성 메트릭을 최대화하여 보편적으로 색 인공물을 최소화하도록 보간 방향을 선택합니다. 그것은 dcraw의 최신 버전에서 구현되었습니다.
비디오 수퍼 해상도 / 디모 자이 팅
수퍼 해상도와 디모 자이 썬핑 (demosaicing)은 동일한 문제의 두 가지면을 보여 주었고, 통일 된 맥락에서이를 해결하는 것이 합리적입니다. 두 문제 모두 앨리어싱 문제를 해결합니다. 따라서 특히 비디오 (멀티 프레임) 재구성의 경우 조인트 수퍼 해상도 및 디모 자이 킹 방식이 최적의 솔루션을 제공합니다.
상충 관계
일부 방법은 자연 장면에 대해서는 더 나은 결과를, 예를 들어 인쇄물에 대해서는 더 나은 결과를 생성 할 수 있습니다. 이는 실제로 알지 못하는 픽셀을 추정 할 때의 고유 한 문제점을 반영합니다. 당연히 속도 평가와 품질 평가의 유비쿼터스 트레이드 오프도 있습니다.
컴퓨터 이미지 처리 소프트웨어에 사용
디지털 카메라의 원시 이미지 데이터에 액세스 할 수있는 경우 카메라에 내장 된 알고리즘으로 제한되는 대신 다양한 다양한 디모 자이 킹 알고리즘을 사용하는 컴퓨터 소프트웨어를 사용할 수 있습니다. RawTherapee와 같은 몇 가지 원시 개발 프로그램은 사용자에게 어떤 알고리즘을 사용해야하는지 선택할 수있는 옵션을 제공합니다. 그러나 대부분의 프로그램은 특정 방법을 사용하도록 코딩되어 있습니다. 디모 자이 킹 알고리즘의 선택에서 비롯된 최상의 디테일 (및 그레인 텍스처) 렌더링의 차이는 다양한 원시 개발자 간의 주요 차이점 중 하나입니다. 종종 사진 사는이 효과와 관련된 미적인 이유로 특정 프로그램을 선호합니다.
디 모자이 케이션으로 인한 색 인공물은 사진 위조를 식별하는 데 중요한 단서를 제공합니다.