Алгоритм демозаизации представляет собой процесс цифрового изображения, используемый для восстановления полноцветного изображения из неполных цветовых образцов, выводимых из датчика изображения, наложенного на матрицу цветных фильтров (CFA). Он также известен как интерполяция CFA или цветовая реконструкция.

Большинство современных цифровых камер приобретают изображения с использованием одного датчика изображения, наложенного на CFA, поэтому демонтаж является частью конвейера обработки, необходимого для визуализации этих изображений в виде просмотра.

Многие современные цифровые камеры могут сохранять изображения в необработанном формате, что позволяет пользователю использовать демо-версию с использованием программного обеспечения, а не использовать встроенную прошивку камеры.

Цель
Цель алгоритма демозаизации состоит в том, чтобы восстановить полноцветное изображение (т. Е. Полный набор цветовых троек) из пространственно невыбранных цветовых каналов, выводимых из CFA. Алгоритм должен иметь следующие черты:

Избегание введения ложных цветовых артефактов, таких как хроматические псевдонимы, застежка-молния (резкие неестественные изменения интенсивности по ряду соседних пикселей) и фиолетовая окантовка
Максимальное сохранение разрешения изображения
Низкая вычислительная сложность для быстрой обработки или эффективной аппаратной реализации в камере
Удобство анализа для точного снижения уровня шума

Цветная фильтрующая матрица
Массив цветного фильтра — это мозаика цветных фильтров перед датчиком изображения. Коммерчески наиболее часто используемой конфигурацией CFA является фильтр Байера, показанный здесь. Это чередует красный (R) и зеленый (G) фильтры для нечетных строк и чередующихся зеленых (G) и синих (B) фильтров для четных строк. В два раза больше зеленых фильтров, чем красные или синие, что обеспечивает повышенную чувствительность человеческого глаза к зеленому свету.

Так как цветовая подвыборка CFA по своей природе приводит к сглаживанию, оптический фильтр сглаживания обычно помещается в оптический путь между датчиком изображения и объективом для уменьшения ложных цветных артефактов (хроматических алиасов), вводимых путем интерполяции.

Поскольку каждый пиксель датчика находится за цветным фильтром, выход представляет собой массив значений пикселей, каждый из которых указывает интенсивность одного из трех цветов фильтра. Таким образом, необходим алгоритм для оценки для каждого пикселя уровней цвета для всех цветовых компонентов, а не для одного компонента.

иллюстрация
Чтобы восстановить полноцветное изображение из данных, собираемых матрицей фильтрации цветов, для заполнения пробелов необходима форма интерполяции. Математика здесь подвержена индивидуальной реализации и называется демозаисированием.

В этом примере мы используем бикубическую интерполяцию Adobe Photoshop для имитации схемы фильтрующего устройства Bayer, такого как цифровая камера.

Изображение, изображенное ниже, имитирует выходной сигнал от фильтра с фильтром Байера; каждый пиксель имеет только красный, зеленый или синий компонент. Соответствующее исходное изображение показано рядом с демонстрационной реконструкцией в конце этого раздела.

Восстановленное изображение, как правило, является точным в областях однородного цвета, но имеет потерю разрешения (детальность и резкость) и имеет краевые артефакты (например, края букв имеют видимые цветовые полосы и некоторую шероховатость).

Алгоритмы

Простая интерполяция
Эти алгоритмы являются примерами многомерной интерполяции на единой сетке, используя относительно простые математические операции над соседними экземплярами одного и того же цветового компонента. Самый простой метод — интерполяция ближайшего соседа, которая просто копирует соседний пиксель того же цветового канала. Он непригоден для любого приложения, в котором качество имеет значение, но может быть полезно для создания превью, учитывая ограниченные вычислительные ресурсы. Другим простым методом является билинейная интерполяция, при которой красное значение не красного пикселя вычисляется как среднее из двух или четырех соседних красных пикселей, а также для синего и зеленого. Более сложные методы, которые интерполируются независимо в каждой цветовой плоскости, включают бикубическую интерполяцию, сплайн-интерполяцию и повторную выборку Ланцоса.

Хотя эти методы могут получить хорошие результаты в однородных областях изображения, они подвержены серьезным артефактам демкозачивания в областях с краями и деталями при использовании с CFA чистого цвета. Однако линейная интерполяция может получить очень хорошие результаты в сочетании с пространственно-спектральным (панхроматическим) CFA. Можно использовать простые модели формирования изображений для демонстрации. В естественных изображениях в одном и том же сегменте соотношение цветов должно быть сохранено. Этот факт использовался в чувствительной к изображениям интерполяции для демонстрации.

Пиксельная корреляция в изображении
Более сложные алгоритмы демозаизации используют пространственную и / или спектральную корреляцию пикселей внутри цветного изображения. Пространственная корреляция — это тенденция пикселов принимать одинаковые значения цвета в пределах небольшой однородной области изображения. Спектральная корреляция — это зависимость между значениями пикселей разных цветовых плоскостей в небольшой области изображения.

Эти алгоритмы включают:

Переменная Количество интерполяций градиентов вычисляет градиенты вблизи интересующего пикселя и использует нижние градиенты (представляющие более гладкие и более похожие части изображения) для оценки. Он используется в первых версиях dcraw и страдает от цветовых артефактов.
Pixel Grouping использует допущения о естественных пейзажах при составлении оценок. У него меньше цветовых артефактов на естественных изображениях, чем метод Variable Number of Gradients; он был введен в dcraw из rel. 8.71 в качестве «Структурированная пиксельная группировка».
Адаптивная гомогенно-ориентированная интерполяция выбирает направление интерполяции, чтобы максимизировать метрику однородности, таким образом, обычно сводя к минимуму цветовые артефакты. Он был реализован в последних версиях dcraw.

Видео-суперразрешение / демонизация
Было показано, что суперразрешение и демозаизация — две грани одной и той же проблемы, и разумно рассматривать их в едином контексте. Обратите внимание, что обе эти проблемы касаются проблемы с псевдонимом. Поэтому, особенно в случае видео (многокадровая) реконструкция, оптимальным решением является совместный подход с суперразрешением и демосализацией.

компромиссы
Некоторые методы могут дать лучшие результаты для естественных сцен, а некоторые — для печатных материалов, например. Это отражает неотъемлемую проблему при оценке пикселей, которые мы действительно не знаем наверняка. Естественно, существует также вездесущий компромисс скорости и качества оценки.

Использование в программном обеспечении для обработки изображений
Когда у вас есть доступ к необработанным данным изображения с цифровой камеры, можно использовать компьютерное программное обеспечение с различными алгоритмами демозаизации вместо того, чтобы ограничиваться одним, встроенным в камеру. Несколько необработанных программ разработки, таких как RawTherapee, дают пользователю возможность выбрать, какой алгоритм следует использовать. Однако большинство программ кодируются для использования одного конкретного метода. Различия в предоставлении тончайших деталей (и текстуры зерна), которые исходят от выбора алгоритма демозаизации, относятся к основным различиям между различными разработчиками сырья; часто фотографы предпочтут конкретную программу эстетических соображений, связанных с этим эффектом.

Цветовые артефакты из-за демозаизации дают важные подсказки для идентификации подделок фотографий.