Как виртуальная примерка с ИИ надевает вещь на ваше фото

Вы выбираете куртку, нажимаете кнопку, и через несколько секунд появляется ваше фото в ней - в куртке, которую вы, возможно, никогда не надевали. Виртуальная примерка с ИИ выглядит как фокус с камерой, но она ближе к художнику, который работает по двум образцам: вашему фото и изображению вещи. Если это понять, становится гораздо яснее, что результат может вам сказать, а что нет.

В этом руководстве объясняется, как создается изображение, что оно сохраняет от вашего фото, где обычно ошибается и почему опорное фото важнее всего остального, что вы контролируете.

Два входных изображения, одна модель

Современные системы виртуальной примерки с ИИ построены на моделях генерации изображений - того же широкого семейства, что превращает текстовые запросы в картинки. Только вместо фразы модель опирается на два изображения:

1. Изображение человека: ваше фото, которое задает позу, фигуру, лицо, тон кожи и фон.
2. Изображение вещи: картинка вещи, в идеале чистая вырезка, которая задает ее форму, цвет, ткань и детали.

По ходу работы система обычно извлекает из изображения человека некоторую структуру: где находятся тело и конечности, какую область должна закрыть вещь (торс для верха, ноги для брюк) и какие части исходной одежды нужно заменить. Затем модель генерирует новое изображение, в котором эта область перерисована с вещью, а остальная часть фото сохраняется как можно ближе к оригиналу.

Такой подход часто называют инпейнтингом: модель заполняет замаскированную область существующего фото, а не придумывает целиком новую сцену. Поэтому же важны границы области вещи. Если маска слишком маленькая, сквозь результат проступают куски вашей исходной одежды; если слишком большая, модель перерисовывает части рук или фона, которые трогать не требовалось.

Это не 3D. Нет ни сканирования тела, ни симуляции ткани, ни измерения вещи. Модель выучила по огромному числу фотографий одетых людей, как обычно выглядит вещь определенного типа на теле в определенной позе, и создает правдоподобную картинку этого.

Что модель сохраняет

Поскольку модель привязана к вашему фото, некоторые вещи передаются надежно:

• Поза. Ваша стойка и положение рук и ног остаются прежними.
• Фигура и пропорции. Вещь рисуется по вашему силуэту, как он снят на фото.
• Лицо и волосы. Хорошие системы почти не трогают голову, так как она находится вне области вещи.
• Цветотип и свет. Тон кожи, направление света и фон переносятся, поэтому примерка может ответить на вопросы вроде «идет ли мне этот зеленый?».

В этом и состоит полезное ядро примерки: увидеть цвет, длину или силуэт на своем собственном теле, рядом со своим лицом, а не на модели другого телосложения.

Где виртуальная примерка с ИИ ошибается

Тот же подход дает предсказуемые слабые места. Если знать их, результат легче читать, не доверяя ему слишком сильно.

Самая важная строка - первая. Изображение примерки говорит, как вещь, скорее всего, будет выглядеть, но не то, подойдет ли ваш обычный размер. Для посадки единственным надежным ориентиром по-прежнему остаются мерки вещи и ваши собственные.

Почему важно одно хорошее опорное фото

Изображение человека - та половина входных данных, которую контролируете вы, и именно оно задает потолок для каждого результата. Примерка может быть лишь настолько четкой, насколько четким было исходное фото.

Модели нужно ясно видеть ваше тело, чтобы понять, куда ложится вещь. Отсюда несколько практических правил:

• В полный рост, с головы до ступней в кадре. Если ступни обрезаны, модель их придумывает, и обувь потом рисуется на угаданных ногах.
• Лицом к камере, руки немного отведены от тела. Скрещенные руки и развернутые бедра скрывают области, которые должна закрыть вещь.
• Облегающая однотонная одежда. Мешковатое худи скрывает фигуру, и модели приходится гадать, где ваш торс. Однотонная одежда к тому же оставляет меньше узоров, которые могут просочиться в результат.
• Ровный свет и простой фон. Резкие тени и беспорядок дают модели больше того, что нужно сохранить, и больше того, в чем можно ошибиться.

Одно и то же фото для всех примерок еще и делает результаты сравнимыми. Если каждая вещь генерируется на одном и том же изображении, разница между примерками зависит от вещей, а не от смены позы или освещения. Как его подготовить, пошагово описано в руководстве о том, как сделать опорное фото для виртуальной примерки.

Изображение вещи тоже важно, и ему помогает та же чистая вырезка, которую дает извлечение одежды с помощью ИИ: целая вещь на однотонном фоне дает модели самое ясное представление о том, что рисовать.

Как это работает в Outfello

В Outfello вы добавляете одно свое опорное фото в полный рост - лицом к камере, чтобы в кадр попали голова и ступни. После этого любую вещь из гардероба можно по запросу сгенерировать на нем. При импорте одежды ничего не генерируется, поэтому примерки создаются только для тех вещей, которые вы выбрали.

Каждая генерация расходует одну примерку из месячного лимита вашего тарифа, а если генерация не удалась, примерка возвращается. Число попыток примерки для одной вещи ограничено. В конструкторе образов можно также сгенерировать на опорном фото целый образ - от верхней одежды до обуви, с головы до ног - как одну примерку. Лимиты зависят от тарифа и указаны на странице тарифов; импорты и примерки - это отдельные лимиты, поэтому исчерпание одного не блокирует другой. Подробнее о функции - на странице о виртуальной примерке.

Вырезка рядом с фото примерки

Как разумно читать результат примерки

Примерку лучше воспринимать как набросок, а не как обещание. Она хорошо отвечает на вопросы:

• Идет ли этот цвет к моему лицу?
• Подходит ли эта длина к моим пропорциям?
• Выглядят ли эти вещи вместе как образ?

И плохо отвечает на вопросы:

• Подойдет ли этот размер?
• Такая ли ткань плотная или прозрачная, какой кажется?
• Будет ли именно этот принт или логотип выглядеть так?

Если результат выглядит неправильно в мелкой детали, например в кисти руки или логотипе, обычно это слабое место модели, а не признак того, что вещь будет смотреться плохо. Если неправильным выглядит все изображение, первым делом стоит проверить опорное фото.