Искусственный интеллект заполняет дыры в фотографиях и даже в портретах

Искусственный интеллект все чаще используют для манипуляции с фотографиями: меняют с его помощью освещение, удаляют фон, состаривают лица. Но новый инструмент, созданный на основе искусственного интеллекта, который представили китайские ученые, делает кое-что намного более мощное: алгоритм восстанавливает информацию, которая отсутствует на фотографии. Причем обрабатываются все жанры: пейзаж, архитектура и даже портрет — искусственный интеллект удивительно точно восполняет пробелы. Об этом рассказал сайт DIY Photography.

Алгоритм называется Pyramid-context Encoder Network, он разработан совместными усилиями Университета Сунь Ят-сен в Гуанчжоу и Исследовательской лабораторией Microsoft в Пекине. В работе алгоритма используется техника под названием «inpainting», она использует глубокое обучение искусственного интеллекта. При работе алгоритма либо происходит копирование существующих деталей в пустые зоны, либо создается совершенно новое изображение, которое заполняет отсутствующую часть изображения. Например на изображениях лиц алгоритму нужно воссоздать недостающие части без использования других деталей. Результаты довольно реалистичны, и их можно быстро получить. Вот пара примеров:

По словам исследователей, это не первый случай использования технологии «inpaingting». Однако данная система дает более точные результаты, чем более ранние методы. Ведущий разработчик проекта Янхонг Цзен рассказал Digital Trends, что их модель сохраняет текстурную и структурную согласованность изображения. «Мы рады видеть, что наша модель способна генерировать более четкие текстуры и более правильные структуры, чем предыдущие работы», — добавил он.

На основе алгоритма Pyramid-context Encoder Network можно создать много приложений, которые, как можно понять, в основном будут фокусироваться на обработке изображений. Цзен подтвердил это, заявив, что команда будет работать над применением этой технологии в программах для редактирования изображений. Этот алгоритм может быть особенно полезен при удалении объектов с изображения и восстановлении старых фотографий.

Полный текст о Pyramid-context Encoder Network доступен на Arxiv.