Исследователи Института AIRI, ИППИ РАН, МФТИ и фотограф Майкл Фриман представили REPID — первый набор данных об эстетическом восприятии обработки фотографий через сравнение разных рендеров одной сцены реальными зрителями. Об этом «Газете.Ru» сообщили в пресс-службе Института AIRI.
Традиционные метрики качества изображения обучены находить технические дефекты — шумы, артефакты сжатия — и потому плохо различают стилистически разные, но технически чистые фотографии. REPID построен на основе набора MIT-Adobe FiveK: для каждой из 5000 сцен, снятых профессионалами, использовались пять авторских рендеров и один автоматический вариант Adobe Photoshop. Для каждой пары рендеров собрали по 25 голосов на платформе Яндекс.Задания — участникам показывали пары фото на сером фоне и спрашивали, какое изображение предпочтительнее. Всего в разметке участвовали 13 648 человек, оставивших более 2,5 миллиона оценок.
Универсального стиля обработки, который нравился бы всем и всегда, исследователи не обнаружили — выбор зависит от содержания кадра. Но общая тенденция есть: зрители чаще предпочитали сдержанные версии снимков ярко выраженным авторским интерпретациям. Несмотря на десятки настроек в редакторах, они сводятся к четырем параметрам — яркости (экспозиции), контрасту, цветовой температуре и насыщенности, — а важнейшим чаще всего оказывается восстановление теней и светов.
В среднем автоматическая обработка уступает авторским версиям, однако в конкретных сценах алгоритм нередко превосходит фотографа — статистика по датасету и отдельный пример могут расходиться. Авторские правки часто оказывались настолько похожи, что разметчики не могли выбрать лучший вариант — вероятность предпочтения одного изображения другому оставалась около 50%. На основе данных исследователи создали модель IRQAM, которая учитывает разнообразие вариантов обработки.
«Результаты можно применять для обучения моделей эстетической оценки, персонализированных рекомендаций в фоторедакторах и автоматического подбора привлекательных стилей обработки», — отметил научный сотрудник группы «Цветовая вычислительная фотография» Института AIRI Всеволод Плохотнюк.
В дальнейшем авторы планируют расширить датасет новыми стилями.
Ранее ученые создали нейросеть для очистки снимков космоса от атмосферных помех.
