Обучение модели Stable Diffusion на стиле Эйдвина Эрла
Описание
Проект посвящен исследованию и воспроизведению уникального стиля Эйвинда Эрла, известного своими стилизованными пейзажами с многослойными силуэтами, яркими цветами и ощущением глубины. Цель проекта — обучить нейронную сеть генерировать пейзажи, вдохновленные его работами, улавливая ключевые элементы его художественного языка и создавая новые, оригинальные композиции в его духе.
Эйвинд Эрл (1916-2000) — известный своим влиянием на анимацию Диснея, также был чрезвычайно успешным и плодовитым иллюстратором рождественских открыток, создавшим более 800 уникальных сюжетов. Он выработал узнаваемый стиль, сочетающий простоту, таинственность, изящность и кажущуюся простоту. Мастерское использование сериграфии позволяло Эрлу создавать насыщенные цвета и детализированные изображения, превращая его открытки в произведения искусства.
Итоговая серия изображений
В целом, проект по генерации изображений в стиле Эйвинда Эрла можно считать успешным. Нейросети удалось продемонстрировать понимание и воспроизведение ключевых элементов его узнаваемого стиля. Особенно хорошо это заметно в пейзажных работах: плоскостность, характерные однотонные заливки, плавные градиенты и мягкие линии переданы весьма убедительно, что создает ощущение, будто изображения действительно могли быть созданы самим Эрлом. Узнаваемая эстетика художника присутствует, что делает сгенерированные работы вполне самодостаточными и интересными.
Однако, стоит отметить и некоторые ограничения. На мой взгляд, в процессе обучения несколько потерялась замысловатая детализация, которая в оригинальных работах Эрла играет важную роль. Эта детализация не просто украшает изображение, но и активно подчёркивает форму объектов, добавляя им глубину и особый шарм. Возможно, для более точной имитации этой сложной черты потребовались бы дополнительные методы обучения, более тонкая настройка параметров и промптов.
Наиболее интересным и показательным оказался эксперимент с генерацией лиц и людей. Эрл крайне редко изображал людей в своих работах, специализируясь преимущественно на фонах и пейзажах. Это создало значительные трудности для нейросети, что, в конечном итоге, вылилось в достаточно неоднозначный результат. Сгенерированные персонажи, в итоге, предстали в трёх различных стилях, лишь отдаленно напоминающих общую эстетику Эрла.
Этот результат, на мой взгляд, демонстрирует как сильные стороны, так и ограничения нейросетей. С одной стороны, они способны достаточно успешно имитировать стиль, но с другой — испытывают трудности при работе с данными, которые недостаточно представлены в обучающем наборе. Этот аспект подчеркивает специализацию Эрла как художника, фокусирующегося на пейзажах и фонах.
Использованные промпты: 1. «landscape blue and detailed in ERL style» 2. «city blue and detailed in ERL style» 3. «country blue and detailed in ERL style» 4. «crowd blue and detailed lin ERL style» 5. «dark forest in ERL style» 6. «blue and detailed bar in ERL style» 7. «bar in ERL style» 8. «blue and detailed cafe in ERL style» 9. «cafe in ERL style» 10. «forest in ERL style» 11. «blue and detailed city veiw in ERL style» 12. «city veiw in ERL style» 13. «landscape in ERL style» 14. «New York in ERL style» 15. «crowd in ERL style»
Описание процесса генерации
1. Загрузка кода для обучения SD-модели с GitHub: Первым шагом стало выбор подходящей Stable Diffusion модели и загрузка соответствующего репозитория с GitHub. 2. Сбор изображений и их подготовка для обработки: Далее последовал процесс сбора изображений. Использовались различные источники: онлайн-галереи, каталоги, цифровые архивы и публикации. Потом фото необходимо было обрезать до квадратов и привести к одному разрешению. 3. Работа с кодом: необходимо было получить токен Hugging face и обучить модель, последовательно запуская блоки кода. Затем было написание промптов и эксперименты с разными формулировками для максимально похожего результата. 4. Скачивание картинок и их обработка, улучшение качества с помощью ИИ: После завершения обучения модели следовал этап генерации изображений и их постобработки. а этом этапе использовались различные инструменты улучшения качества: масштабирование (upscaling) для увеличения разрешения без потери деталей, коррекция цветовой гаммы, удаление артефактов и шумов. Для улучшения качества использовались специализированные AI-сервисы и программы.
Блокнот с кодом
Описание применения генеративной модели и AI-инструментов
1. Обученная SD-модель: Основной генератор изображений, обученный на работах Эрла для воспроизведения его стиля (плоскостность, градиенты, цвета). Тонкая настройка параметров для наилучшего результата. Подключение его происходило через код, данный в курсе.
2. AI для улучшения картинок: Инструменты для постобработки: • Масштабирование — увеличение разрешения. • Удаление шумов/артефактов, коррекция цвета, повышение резкости. Ссылка: https://airbrush.com/ru/image-enhancer
3. Chat GPT для генерации, анализа и оптимизации текстовых промптов для SD-модели. Ссылка: https://chat-gpt.org/
