Идея проекта
Задачей данного проекта является обучения генеративной нейросети Stable Diffusion. После того как я задалась вопросом о предмете обучения, было определено, что обучение пройдет на моих собственных работах.
Я выбрала проект первого модуля третьего курса, для которого делала календарь. Для него важной составляющей были фотографии, обработанные таким образом, чтобы они напоминали абстрактный образ воспоминания. Их главными чертами были: яркость, взаимодействие цветов между собой, зернистость, абстрактность.
Для себя я поставила задачу на выходе получить изображения, которые преемствовали бы выше упомянутые особенности.
*С проектом календаря можно ознакомиться по ссылке ниже
Исходные изображения
В моем проекте для календаря было подобный 12 цветных изображений, я добавила еще одно, невошедшее в итоговый проект. Затем обрезала их до размера 1024 на 1024 пикселя. Таким образом получился датасет из 13 квадратных изображений.
Свой код я собирала в Google Colab. Датасет был успешно загружен.
*ниже прикреплена ссылка на датасет
О процессе обучения
После установок необходимых библиотек и загрузки датасета был процесс автоматической генерации промтов к исходным изображениям. Не все они были точными, поскольку все изображения в большей степени абстрактные. На этом этапе генеротавиной нейросетью были зафиксированы наиболее важные детали изображений размытость и цветастость.
Для обучения модели с помощью инструмента LoRa я поставила настройки: разрешение = 512 размер пакета обучения = 2 максимальное число шагов обучения = 500 промежуточный шаг обучения = 250
*обученная модель также была загружена на сайт hugging face, ниже прекреплена ссылка
Итоги и промты
сгенерированные изображения
сгенерированное изображение
Сначала попробовала создать абстрактные формы с помощью короткого (In the style of Chroma Haze, abstract composition, natural theme) и длинного (In the style of Chroma Haze, An abstract flower with blurred petals transitioning from red to green. The outlines are subtle but give a sense of volume and shape) промтов.
Это была моя первая попытка обучения модели, она показалась мне удачной, так как изображения было очень похоже на то, что я делала вручную, см. илл. слева.
сгенерированные изображения
Промт: In the style of Chroma Haze, create a magical forest where trees and foliage dissolve into waves of green, blue, and purple. The scene should feel enchanted, with soft light filtering through the leaves and creating a dreamy, otherworldly ambiance.
In the style of Chroma Haze, neon buildings dissolving in pink and cyan haze.
После удачной генерации абстракций чем-то похожих на разлитый бензин я попробовала сгенерировать немного более узнаваемые образы. Это тоже получилось успешно. Наиболее удачно были созданы силуэты людей и черт индустриального города.
сгенерированные изображения
In the style of Chroma Haze, A blurred human silhouette with soft edges.
Достигнуто обучение: 1. цветовой палитре 2. технике выполнения — использования цветовых переходов и зернистости 3. стилю, основанному в первую очередь на абстрактности
