Ключевой фигурой проекта стал мой доберман — Аза. Все фотографии сделаны мной и являются личным архивом.
В этом проекте я обучила Stable Diffusion изображать моего добермана в фантастических сюжетах. Мне хотелось проверить, удастся ли сохранить узнаваемые особенности собаки — чёрную шерсть с рыжими отметинами, форму морды и выразительный силуэт — и при этом помещать её в разные вымышленные миры.Образ добермана здесь становится проводником между реальностью и фантазией. Он появляется среди необычных лесов, звёздных пейзажей, старинных книг и сказочных декораций.Мне хотелось создать иллюстрации немного условно и живописно, так как это не попытка создать реалистичный фотопортрет, а серия фантазийных сцен с одним главным персонажем.
Для обучения я собрала собственные фотографии своей собаки. Из них отобрала 18 снимков, на которых можно рассмотреть её внешний вид и характерные черты. Фотографии были подготовлены к единому квадратному формату 512 × 512 пикселей.Разнообразие исходных кадров было важным моментом, чтобы модель могла увидеть собаку с разных ракурсов и в разных позах. В то же время небольшая выборка ограничивает результат. Например, если какую-то деталь на исходных снимках трудно различить, модели сложнее воспроизвести её в новых сценах.Для обучения использовалась Stable Diffusion 1.5 и метод DreamBooth LoRA. LoRA.
Одни из удачных заходов
Для моей собаки был задан специальный ключевой тег qzv_dog. Он использовался в запросах, чтобы вызвать нужный образ.
После обучения я проверила, как модель работает с разными сюжетами. В запросах доберман становился исследователем космоса, персонажем сказочного леса, хранителем библиотеки или героем пейзажа с необычными цветами и небом.Полученная серия показывает, что модель может узнаваемо передавать часть особенностей собаки и помещать её в новые окружения.
Примеры неудачных результатов
При этом результат не всегда точен. В некоторых кадрах меняются пропорции тела, детали головы или положение лап; иногда собака оказывается слишком крупной, обрезанной по краю или не вполне чёткой. Эти ошибки особенно заметны в сложных позах и при необычном ракурсе.
Получившиеся картинки
После дополнительной обработки получаем красивые картинки в рамках.
Кадр 1 — портрет в утрированном аристократичном стиле, хорошо передана анатомия головы собаки и живописность кадра.Кадр 2 — фантастический дворец: декоративный фон создаёт ощущение сказочного мира, но тёмный силуэт собаки сливается с деталями окружения.
Кадр 3 — фантастический лес: доберман показан в ярком сказочном окружении; хорошо читаются чёрная шерсть и рыжие отметины. При этом часть силуэта близко к краю кадра.Кадр 4 — космический портал: получился профиль собаки на фоне круглого небесного объекта. Композиция отличается от остальных, но хвост и пропорции тела выглядят условно.
Кадр 5 — библиотека: книги и раскрытая книга поддерживают сюжет о сказочном персонаже. Морда собаки менее чёткая, часть фигуры закрыта композицией.Кадр 6 — цветочное поле: одна из более читаемых сцен: видны корпус, лапы и хвост, а цветы и закат задают фантастический настрой.
Кадр 7 — крупный портрет: лучше всего видны рыже-чёрный окрас и черты головы; стиль здесь более графичный и насыщенный, чем в остальных сценах.Кадр 8 — полёт среди облаков: необычная идея передаёт сказочный характер серии, но поза и части тела выглядят менее убедительно.
Вывод
Главным результатом для меня стала не идеальная копия фотографий, а возможность использовать образ своей собаки как постоянного персонажа в разных фантастических ситуациях. При этом качество исходной выборки и формулировка запроса заметно влияют на итог, даже после обучения модели приходится подбирать описания, сравнивать варианты и отбирать изображения для серии.Проект также показал ограничения небольшого набора данных. Восемнадцати фотографий достаточно, чтобы попробовать запомнить внешний вид конкретной собаки, но этого недостаточно, чтобы гарантировать правильную анатомию и одинаково точный результат в каждой позе. Поэтому итоговую серию я оценивала не только по красоте фона, но и по тому, насколько убедительно и узнаваемо изображён сам доберман.
Материалы
Для обучения и генерации изображений использовались Stable Diffusion 1.5, DreamBooth LoRA и библиотека Diffusers.
Генеративная модель применялась для создания фантастических иллюстраций на основе образа моей собаки.ChatGPT использовался как помощник при формулировке запросов и разборе ошибок в ноутбуке.Итоговые варианты изображений были сгенерированы и отобраны в ходе работы над проектом.
