Концепция проекта
В четвёртом модуле второго курса я работала над анимированным лонгридом, для которого нужно было создать серию иллюстраций в единой стилистике. Все изображения были нарисованы вручную, и этот процесс занял довольно много времени, поэтому оглядываясь назад, я понимаю, что хотела бы найти способ ускорить эту работу, сохранив при этом характер и индивидуальность рисунков.
Поэтому, я решила вернуться к своим иллюстрациям и использовать их в качестве датасета для обучения генеративной нейросети Stable Diffusion.
Цель проекта
Научить нейросеть воспроизводить особенности моего графического стиля: неровные линии, упрощённые формы и нарочитую небрежность. При этом важно, чтобы модель могла создавать изображения не только на морскую тематику, которой были посвящены первоначальные рисунки, но и на совершенно другие сюжеты.
Датасет
Использованы авторские рисунки; дополнительные разрешения правообладателей не требовались.
Он состоит из 26 собственных рисунков: отдельные объекты, схемы и составные иллюстрации. Изображения подготовлены в квадратном формате 1:1, а исходные файлы имеют размер 1500×1500 пикселей.
Особенности графики: неровный чёрный контур, простые узнаваемые формы, отсутствие реалистичной светотени, небольшая степень нарочитой неточности и белый фон.
Этапы обучения
- В Colab загружается ZIP-архив с 26 авторскими иллюстрациями. Код проверяет формат файла и подготавливает изображения для дальнейшего обучения нейросети.
- Каждому изображению вручную задаётся короткое описание на английском языке, обозначающее изображённый объект. Это помогает модели различать содержание рисунков и связывать его с авторской стилистикой.
- Для обучения используется Stable Diffusion XL с методом DreamBooth LoRA. В процессе изменяются параметры LoRA, а основная модель сохраняется без полного переобучения.
- После обучения я проверяю модель на шести предметах, отсутствующих в исходном датасете. Дополнительный негативный промпт ограничивает детализацию, реалистичность, тени и фоновые элементы.
- Для оценки обучения создаются три варианта каждого изображения: результат исходной SDXL, генерация с обученной LoRA и дополнительно обработанная версия. Пороговая обработка переводит изображение в чёрно-белый формат, убирая серый фон. Это позволяет сравнить результаты обучения и оценить необходимость последующей обработки.
Проверка модели после обучения
На тестовых запросах без морской тематики сравнивались обычная SDXL и модель с подключённой LoRA.После 20 шагов изображения оставались чрезмерно детализированными и напоминали обычные скетчи.После 400 шагов стали заметнее упрощённые силуэты и неровные чёрные контуры. При этом модель не всегда соблюдала количество объектов и требование абсолютно белого фона.
Первая попытка итоговой серии оказалась менее удачной: местами появлялись серый фон, реалистичные текстуры и много штрихов. Дальнейшее уточнение запросов и проверка корректной загрузки финальных весов LoRA улучшили сходство с исходной графикой.
Задача финальной генерации
Для проверки переноса авторского стиля я выбрала новый контекст — поход в лес. В серии из восьми изображений есть походное снаряжение, детали лагеря и лесные объекты. Это намеренно отличается от морской тематики исходного датасета и позволяет проверить, переносит ли модель манеру рисования, а не только запоминает знакомые предметы.
Используется базовая SDXL 1.0 с подключением обученных весов методом pipe.load_lora_weights (…). Специальная фраза «in lzsketch style» активирует обученный стиль. Генерация выполнялась в разрешении 768×768 px, 28 шагов, guidance scale 6.0. Для тестов использовались разные seed и сила LoRA; итоговые выбранные варианты получены с весами 0.9 или 1.0.
Негативный запрос исключает серый фон, тени, штриховку, реалистичность, сложные композиции и посторонние предметы. Для строго белого фона отдельно сохранялись порогово обработанные чёрно-белые копии. Эта операция могла изменить или удалить тонкие серые линии, поэтому необработанные оригиналы сохранены отдельно.
Результаты
Серия изображений, созданных обученной нейросетью
Промты:1) one small triangular camping tent, simple open front flap, just one tent.2) one hiking backpack with two shoulder straps, one front pocket and a simple top flap.3) one small campfire, three crossed wooden logs and large simple flames, no smoke.4) two separate bare trees supporting one empty small hammock between them.5) a small group of exactly three forest mushrooms with different cap shapes and heights.6) one small solitary deciduous tree with a slightly wobbly trunk and one large irregular rounded leafy crown, without individual leaves.
7) one friendly chunky bear standing on four legs, side profile, small rounded ears.8) one simple old-fashioned campfire cooking pot with a slightly curved body, a flat lid and one arched carrying handle, as a single object.
Выводы
Нейросеть не смогла полностью заменить ручное рисование, но стала инструментом, способным ускорить создание иллюстраций в единой стилистике.
В результате эксперимента мне удалось обучить Stable Diffusion воспроизводить основные особенности иллюстративного стиля и применять их к совершенно новым сюжетам. Несмотря на то что исходный датасет преимущественно состоял из изображений на морскую тематику, нейросеть смогла создать серию иллюстраций для похода, сохранив неровные контуры, упрощённые формы и характерную небрежность рисунков.Однако результат оказался не идеальным, модель не всегда точно следовала текстовым запросам, добавляла лишние детали, усложняла композиции и изменяла характер линий. Для достижения нужного результата потребовались дополнительные эксперименты с промптами, параметрами генерации, ручной отбор изображений и обработка фона.
Возвращаясь к первоначальной идее проекта, я могу сказать, что такой инструмент действительно мог бы облегчить мою работу над анимированным лонгридом на втором курсе.
Описание применения генеративной модели
1. Stable Diffusion XL 1.0 — генерация изображений
2. DreamBooth LoRA (библиотека diffusers) — обучение на авторских рисунках.
3. ChatGPT (OpenAI, GPT-6) использовался при адаптации кода Colab, поиске и исправлении ошибок и составлении промптов. Отбор исходного датасета и окончательных иллюстраций выполнялся автором проекта.