Когда в iPhone X появился режим портретного освещения, то многие были очень впечатлены. Компания Apple даже утверждала, что больше не нужно световое оборудование для студии, а нужен просто смартфон. И хотя iPhone не стал главным инструментом фотографа-портретиста, концепция освещения после съемки оказалась очень интересной.
Сайт DIY Photography рассказал о новой технологии обработки портретов с помощью искусственного интеллекта.
Исследователи и инженеры из Университета Сан-Диего и Google сделали еще несколько шагов в развитии этой идеи. Они обучили нейронную сеть освещать портрет без использования каких-либо дополнительных данных о характеристиках третьего измерения фотографии. При этом, у пользователя оказывается намного больше контроля по сравнению с продуктом Apple, в котором всего несколько режимов.
Технология была представлена на выставке Siggraph 2019. Нейросеть была обучена с помощью съемки всего 18 человек с освещением направленным с разных сторон. Каждый портрет был снят с нескольких углов, чтобы увидеть как свет падает на разные участки лица. Пока результаты не совсем идеальны, но все же довольно хороши.
После обучения на этих изображения фотографии из смартфонов передавались на обработку в нейросеть, которая динамически перестраивала освещение с учетом окружающей карты освещенности. Этот процесс похож на освещение сцены в программах трехмерного моделирования.
Безусловно, эта система заметно лучше работает по сравнению с массой предыдущих вариантов и предлагает гораздо больше возможностей, чем приложение для освещения портретов от Apple. Помимо изменения направления освещения, здесь можно регулировать цветовую температуру и для этого не нужно создавать карту глубины. Здесь все еще есть проблемы с некоторыми элементами: например нос, который не отбрасывает тень на щеку, когда карта освещенности вращается «вокруг» головы. Но очевидно, что развитие такой интересной идеи на таком результате не остановится.
Вряд ли такие алгоритмы когда-нибудь смогут полностью заменить студийное освещение, но если они попадут на большинство смартфона, но это позволит пользователям делать свои фотографии и снимки друзей намного более интересными.
Пока нет никаких намеков о дате появления технологии в широком доступе.
Полная информация об исследовательской работе находится здесь.
Отправить комментарий