Обучение генеративной модели стилю Джеймса Джина: «Космос внутри»
Идея проекта
Проект «Космос внутри» исследует тему внутреннего мира человека через образы Вселенной, метафор и визуальной поэзии. Это серия генеративных иллюстраций, в которых человек становится вместилищем бесконечного: планет, туманностей, звёзд и тишины. Каждый образ — это визуализация чувства, памяти или внутреннего состояния, обёрнутая в эстетику сновидений и космоса.
James Jean — Cottontail (BTS Seven Phases) — 2021
Проект вдохновлён работами Джеймса Джина — тайваньско-американского художника, чьи иллюстрации сочетают символизм, сюрреализм, восточную эстетику и текучесть форм. Его стиль — это плавные линии, нежная палитра, фантастические образы и органичное соединение человеческого и сверхъестественного.
Также в визуальной основе проекта — мягкая акварельная гамма, прозрачные текстуры и дымчатый свет, напоминающий pastel core + лёгкое влияние японской иллюстрации.
Исходные изображения
James Jean — Adrift III — 2024
1. James Jean — Erhu — 2019 2. James Jean — Chelone — 2019
James Jean — Adrift — 2024
1. James Jean — Jam — 2017 2. James Jean — Forager III — 2021
Готовая серия
Изображениe, созданное нейросетью
Изображения, созданные нейросетью
Изображениe, созданное нейросетью
Изображения, созданные нейросетью
Изображениe, созданное нейросетью
Комментарии к итоговой серии
Финальная серия изображений представляет собой вариации на тему внутренней вселенной человека. Основные образы — молодые персонажи (в основном девушки) с вкраплениями космических элементов: галактики, звёзды, туманности, кометы, планеты, метеоры. Их волосы превращаются в звёздное небо, тела — в карты космоса, эмоции — в визуальные метафоры.
Звездное небо в сгенерированных изображениях
Серия сохранила пастельную палитру: светло-розовые, голубые, лавандовые и фиолетовые оттенки создают атмосферу сновидений, соответствующую идее внутреннего космоса — не внешнего, а ощущаемого.
Волосы, одежда и пространство вокруг персонажей перетекают друг в друга. Это передаёт идею размытых границ между внешним и внутренним.
Демонстрация использования разных шагов генерации. 1. num_inference_steps=25 2. num_inference_steps=50 3. num_inference_steps=100
При использовании «num_inference_steps=25» лучше генерировались более простые изображения, портреты с минималистичным фоном.
Повышая «num_inference_steps» до 50, генерировались самые лучшие изображения для исходной серии, они были детализированными, но не перегруженными.
Реже я пользовалась «num_inference_steps=100», так как на изображениях появлялось больше артефактов.
Обучение генеративной модели
Проект создавался в Google Colab.
Сначала я скачала нужные библиотеки.
Потом создала папку в Google Colab под названием «jj» и загрузила в нее исходные изображения в количестве 30 штук.
Затем скачала библиотеку BLIP, с помощью которой создавала подрисуночные подписи к изображениям. На следующем слайде видна часть подписей с идентификатором токена «illustration in the style of JEAN, + подрисуночная подпись».
После я создала токен на Hugging Face и начала проводить анализ исходных изображений. Для более хорошего результата генераций я выбрала следующие параметры: train_batch_size=1 max_train_steps=1000 checkpointing_steps=500
Далее я загрузила обученную модель на Hugging Face и начала тестировать генерацию.
Для улучшения качества некоторых изображений был использован Upscale
