Любой человек, делающий снимки на мобильный телефон или профессиональную камеру, не раз замечал на фотографиях шумы зернистость и различные дефекты, особенно заметные при съёмке в сумерках или при недостаточном освещении.
Екатерина Григорьева
Источник фото: пресс-служба национального исследовательского ядерного университета МИФИ
Специалисты из Национального исследовательского ядерного университета МИФИ добились значительного успеха: они создали методику, позволяющую определить уровень шумов камеры по единственному кадру. Результаты их работы опубликованы в авторитетном международном издании IEEE Access (Q1).
Проблема шумов на изображениях существует очень давно. При цифровой фотосъёмке источниками помех выступают многие факторы: неоднородность освещения, перегрев матрицы, разная чувствительность отдельных пикселей, технологические дефекты в процессе производства камер и так далее. Производители редко предоставляют реальные данные о шумовых параметрах своих устройств, а принятые методы измерения, например стандарт EMVA 1288, требуют съёмки десятков специальных сцен и отнимают много времени.
Инновационный подход: математическая обработка одного снимка
Коллектив исследователей из лаборатории фотоники и оптической обработки информации Института лазерных и плазменных технологий МИФИ предложил простое и изящное решение для оценки шумовых характеристик цифровых камер. В отличие от длительных процедур с использованием лабораторного оборудования, их подход основан на инновационной математической обработке всего одного снимка.
Новый метод различает четыре типа шумов. Разработанный метод позволяет узнать не только общую величину шума, но и отдельные значения для каждого из его типов. Традиционно шумы делятся на четыре категории: световые (временные и пространственные) и темновые (также временные и пространственные). Световые возникают во время съёмки и зависят от объёма света, попавшего на матрицу, а темновые присутствуют даже при полном отсутствии освещения. Пространственные шумы остаются постоянными во времени и связаны с различиями в чувствительности пикселей, в то время как временные меняются от кадра к кадру.
Как работает сегментация и взвешенное усреднение. Основная новизна заключается в сегментации изображения и многоэтапной аппроксимации. Учёные разбивают снимок на области с разной яркостью и однородностью, что позволяет приблизительно оценить, насколько силён шум в каждом отдельном пикселе. После этого к полученным данным применяют процедуру взвешенного усреднения, которая отфильтровывает случайные колебания сигнала и даёт гораздо более точный результат.
Экспериментальное подтверждение эффективности. Проведённые оптические эксперименты с камерами различных типов, включая популярную беззеркальную модель Canon EOS M100, подтвердили действенность подхода. Если прежние однокадровые методы демонстрировали значительную погрешность при оценке шумовых характеристик, то новая разработка позволила повысить точность анализа в несколько раз, а иногда и на порядок.
Первый успех в определении параметра PRNU.Особенно важно, что данный метод впервые даёт возможность корректно определить параметр PRNU (Photo Response Non-Uniformity), то есть разницу в чувствительности пикселей, используя всего один снимок. Ранее это было возможно лишь после съёмки длинной серии однородных изображений.
Практические преимущества и области применения
Новая технология радикально ускоряет процесс. Вместо того чтобы делать сотни кадров и тратить часы на обработку, результат можно получить за считанные минуты. Это открывает широкие возможности: от быстрой настройки камер для научных экспериментов до совершенствования алгоритмов шумоподавления в смартфонах и системах видеонаблюдения. Например, зная точные шумовые параметры, нейросети смогут эффективнее обрабатывать изображения, разделяя шумовые компоненты и детали объектов на снимке.
Перспективы создания «идеальной» цифровой фотографии
Авторы работы подчёркивают: качество работы камер часто страдает из-за шума пикселей фотосенсора. При этом сфера использования цифровых камер постоянно расширяется. Чтобы повышать скорость регистрации информации, её качество и даже объём, всё более важной становится точность данных о шумах сенсоров.
Разработка учёных НИЯУ МИФИ представляет собой шаг к созданию «идеальной» цифровой фотографии, когда техника сможет осознавать собственные ограничения и компенсировать их на программном уровне, обеспечивая нас по-настоящему чистыми и чёткими снимками в любых условиях.
Работа выполнена при поддержке гранта Российского научного фонда 24-19-00898, руководитель гранта доктор физико-математических наук, ведущий научный сотрудник Владислав Родин.