Ученые из Института искусственного интеллекта AIRI придумали, как исправить главную проблему ИИ-фотосессий: на сгенерированных снимках лица часто получаются непохожими на образцы, а мелкий текст на товарах превращается в нечитаемые каракули. Специалисты создали инструмент, который берет уже готовую картинку и обычную фотографию человека или товара и аккуратно исправляет на картинке только лицо или этикетку, — сообщили «Газете.Ru» в AIRI.
Современные нейросети умеют по одной фотографии поместить человека или товар в любую сцену, однако часто черты лица или мелкий шрифт нейросеть рисует неправильно.
Исследователи нашли причину: нейросеть одновременно решает две конфликтующие задачи — придумать новую позу, свет и композицию и точно скопировать каждую черту лица или букву. Когда они конфликтуют, модель выбирает общую картинку, а детали размывает.
Чтобы это исправить, исследователи разделили работу на две части: сначала программа находит лицо или товар и увеличивает этот фрагмент, затем подгоняет фотографию-образец так, чтобы глаза и текст на упаковке встали на свои места. После этого нейросеть перерисовывает фрагмент в двух режимах — один следит за сценой, другой за лицом или надписью — и результаты сводятся вместе.
Разработчики AIRI создали метод под названием KandiShop и проверили его на сотне лиц. Без него открытая нейросеть FLUX.2 klein сохраняла сходство с оригиналом на 52%, а с ним — на 75%. У Nano Banana Pro этот показатель составил 57%, у GPT Image 2 от OpenAI — 86%.
«Метод работает поверх уже сгенерированной картинки, и не важно, с помощью какого инструмента она была создана. Метод можно применить и к сгенерированным Nano Banana изображениям, чтобы получить прирост качества с 57 до 76%. Кроме того, на групповых фото каждое лицо обрабатывается отдельно, поэтому черты разных людей больше не смешиваются», — отметила научный сотрудник группы «Контролируемый генеративный ИИ» Института AIRI Вера Соболева.
KandiShop работает с уже существующими нейросетями, код KandiShop опубликован в открытом доступе и доступен всем желающим, уточнили в AIRI.
Ранее психолог назвал причины сознательного отказа людей от ИИ.