Новый алгоритм с использованием искусственного интеллекта позволяет «видеть в темноте»

Качество изображения определяется в основном тремя вещами: сенсором, объективом и обработкой изображения.

Однако очень часто сила обработки недооценивается. Многие производители понимают, что это важная часть фотографии и вкладывают средства в разработку новых процессором и алгоритмов. Например Fujifilm несколько лет назад упоминали, что обработка отвечает как минимум за 30% конечного качества изображения.

Время идет, и, возможно, совсем скоро ситуация изменится очень сильно. Команда исследователей из Университета Иллинойса разработала новый метод обработки изображений с использованием искусственного интеллекта. Эта технология обещает невиданные ранее возможности, она почти «может видеть в темноте».

Вот как описывают это разработчики:

«Работа с изображениями при низком уровне освещенности является сложной задачей из-за малого количества фотонов и низкого соотношения сигнал/шум. Изображения с короткой выдержкой страдают от большого количества шумов, а длинная выдержка может вызвать размытие изображения и часто бывает непрактичной. Ранее были предложены различные методы шумоподавления, удаления размытия и других улучшений, но их эффективность ограничена в экстремальных условиях, например при ночной видеосъемке.

Для разработки метода были сделаны снимки при слабом освещении с короткой выдержкой и снимки с длинной выдержкой. Используя этот набор данных был разработан конвейер обработки изображений, который основан на обучении сверточной сети, которая напрямую работает с необработанным потоком данных с сенсора и заменяет большую часть традиционного конвейера обработки изображений, который, как правило, плохо справляется с подобными изображениями. Мы обнаружили многообещающие результаты в новом наборе данных и сейчас анализируем факторы, влияющие на производительность, а также ищем направления для развития технологии».

На странице сайта Университета Иллинойса можно найти примеры работы этого алгоритма и видео с объяснением примеров. (При просмотре примеров загрузка может быть достаточно долгой). Среди образцов есть кадры, сделанные на камеры Fujifilm X-T2, Sony A7S II и iPhone 6+. Оригинал работы можно найти на сайте arxiv.org.