Идея проекта:
Я сама связала маленького зайца и решила представить, что ему может сниться. Мне стало интересно, как выглядели бы его сны, если бы он мог попадать в совершенно невозможные пространства.Так появилась идея «Архива сновидений» — серии изображений, в которых один и тот же вязаный заяц оказывается на дне океана, среди розовых облаков, на лестнице в небо и в таинственной ночной комнате.
Главная цель проекта — обучить нейросеть узнавать конкретную игрушку и проверить, насколько хорошо она сможет воспроизводить её в новых условиях, сохраняя форму, цвет и фактуру вязки.
Исходные изображения:
В качестве объекта для обучения я выбрала своего вязаного зайца. У него светлая объёмная пряжа, чёрные глаза, маленький розовый нос и длинные уши.
Для датасета я сделала 25 фотографий игрушки с разных ракурсов. Мне было важно, чтобы нейросеть запомнила не только общий силуэт, но и детали, по которым можно узнать именно моего зайца.
Использованные инструменты:Stable Diffusion XL — генерация изображений.
DreamBooth LoRA — обучение модели на фотографиях моего зайца.
Google Colab — запуск кода, обучение и генерация.
Hugging Face — хранение обученных весов и результатов.
SDXL Inpainting — генерация зайца внутри уже созданных пространств.
Описание процесса обучения:
Сначала я подготовила фотографии игрушки и загрузила их в Google Colab. Затем установила необходимые библиотеки и настроила обучение Stable Diffusion XL с помощью DreamBooth LoRA.Для обучения я использовала DreamBooth LoRA. Нейросеть обучалась на фотографиях моего вязаного зайца, после чего я могла генерировать его в новых пространствах, сохраняя характерные особенности игрушки.В ходе работы я сохраняла контрольные точки модели. Для итоговых генераций использовала LoRA с 175-го шага обучения, сохранённую на Hugging Face.
настройка обучения
процесс обучения
обученная модель
Первые генерации:
Сначала я проверила, насколько хорошо нейросеть запомнила внешность игрушки.
Модель достаточно точно воспроизводила объёмную фактуру вязки, светлый цвет и основные черты мордочки. Однако при попытке перенести зайца в фантастическое пространство возникли сложности.
Иногда нейросеть генерировала узнаваемого зайца, но оставляла его на обычном фоне, похожем на исходные фотографии. В других случаях получалось красивое сказочное пространство, но сам персонаж исчезал.
неудачные генерации
Изменение подхода:
Я решила разделить создание изображения на два этапа.
Сначала генерировала само пространство без обученной LoRA, чтобы модель могла свободнее создавать необычное окружение. Затем использовала Inpainting и свою LoRA для генерации зайца в определённой части изображения.
Результаты генераций:
сон « Выше облаков »
Кровать парит над бесконечным морем розовых облаков. Мне хотелось создать спокойное, немного нереальное пространство, в котором привычная спальня буквально теряет свои границы.Окружение получилось близким к задуманному, но сложнее оказалось поместить в него зайца. Пришлось отдельно работать над присутствием персонажа и его расположением на кровати.
сон « Лестница в никуда »
Заяц оказывается на лестнице среди фиолетового пейзажа и огромного закатного неба. Ступени становятся частью необычного пространства, в котором трудно определить, где заканчивается реальность.
сон « После полуночи »
