Идея проекта
Задачей данного проекта является обучения генеративной нейросети Stable Diffusion. После того как я задалась вопросом о предмете обучения, было определено, что обучение пройдет на моих собственных работах.
Я выбрала проект первого модуля третьего курса, для которого делала календарь. Для него важной составляющей были фотографии, обработанные таким образом, чтобы они напоминали абстрактный образ воспоминания. Их главными чертами были: яркость, взаимодействие цветов между собой, зернистость, абстрактность.
Для себя я поставила задачу на выходе получить изображения, которые преемствовали бы выше упомянутые особенности.
*С проектом календаря можно ознакомиться по ссылке ниже
Исходные изображения
В моем проекте для календаря было подобный 12 цветных изображений, я добавила еще одно, невошедшее в итоговый проект. Затем обрезала их до размера 1024 на 1024 пикселя. Таким образом получился датасет из 13 квадратных изображений.
Свой код я собирала в Google Colab. Датасет был успешно загружен.
*ниже прикреплена ссылка на датасет
О процессе обучения
После установок необходимых библиотек и загрузки датасета был процесс автоматической генерации промтов к исходным изображениям. Не все они были точными, поскольку все изображения в большей степени абстрактные. На этом этапе генеротавиной нейросетью были зафиксированы наиболее важные детали изображений размытость и цветастость.
Для обучения модели с помощью инструмента LoRa я поставила настройки: разрешение = 512 размер пакета обучения = 2 максимальное число шагов обучения = 500 промежуточный шаг обучения = 250
*обученная модель также была загружена на сайт hugging face, ниже прекреплена ссылка
Итоги и промты
сгенерированные изображения
сгенерированное изображение
Сначала попробовала создать абстрактные формы с помощью короткого (In the style of Chroma Haze, abstract composition, natural theme) и длинного (In the style of Chroma Haze, An abstract flower with blurred petals transitioning from red to green. The outlines are subtle but give a sense of volume and shape) промтов.
Это была моя первая попытка обучения модели, она показалась мне удачной, так как изображения было очень похоже на то, что я делала вручную, см. илл. слева.
сгенерированные изображения
Промт: In the style of Chroma Haze, create a magical forest where trees and foliage dissolve into waves of green, blue, and purple. The scene should feel enchanted, with soft light filtering through the leaves and creating a dreamy, otherworldly ambiance.
In the style of Chroma Haze, neon buildings dissolving in pink and cyan haze.
После удачной генерации абстракций чем-то похожих на разлитый бензин я попробовала сгенерировать немного более узнаваемые образы. Это тоже получилось успешно. Наиболее удачно были созданы силуэты людей и черт индустриального города.
сгенерированные изображения
In the style of Chroma Haze, A blurred human silhouette with soft edges.
Достигнуто обучение: 1. цветовой палитре 2. технике выполнения — использования цветовых переходов и зернистости 3. стилю, основанному в первую очередь на абстрактности
In the style of Chroma Haze, nature silhouette with vibrant purple and orange colors.
Все промты:
In the style of Chroma Haze, abstract composition, natural theme. In the style of Chroma Haze, A blurred human silhouette with soft edges. In the style of Chroma Haze, An abstract flower with blurred petals transitioning from red to green. The outlines are subtle but give a sense of volume and shape. In the style of Chroma Haze, create a magical forest where trees and foliage dissolve into waves of green, blue, and purple. The scene should feel enchanted, with soft light filtering through the leaves and creating a dreamy, otherworldly ambiance. In the style of Chroma Haze, silhouette with vibrant blue-purple edges. In the style of Chroma Haze, neon buildings dissolving in pink and cyan haze. In the style of Chroma Haze, nature silhouette with vibrant purple and orange colors.
Инструменты
Google colab — для сборки кода Hugging face — для импорта необходимых моделей для генерации Photoshop — обрезка фото Mistral ai — помощь с формированием длинных промтов
