Обучение модели Stable Diffusion на стиле Е. И. Чарушина
Цель
Евгений Иванович Чарушин (1901–1965) — не просто русский художник и писатель, а истинный сказочник, сумевший оживить мир природы на страницах своих книг. Его детские иллюстрации, посвященные животным, пронизаны любовью, вниманием к мельчайшим деталям и глубоким уважением к окружающему миру.
Чарушину удалось создать совершенно особенный, неповторимый стиль, сочетающий в себе кажущуюся простоту с поразительной выразительностью. Именно эта гармония делает его работы такими близкими и понятными как детям, так и взрослым, раскрывая перед ними красоту и хрупкость живой природы.
Я поставил перед собой задачу: обучить нейросеть создавать изображения животных и окружающей их среды в стиле, который безошибочно узнается как «чарушинский». Стремился к тому, чтобы сгенерированные изображения визуально сливались с оригинальными работами художника, создавая ощущение, будто их рисовал сам Евгений Иванович.
Библиотека изображений
Датасет представляет собой набор из 24 изображений животных, созданных Чарушиным в качестве иллюстраций.
Описание применения генеративной модели
В процессе работы я поближе познакомился с такими инструментами разработки, как Stable Diffusion для обучения нейросети, Hugging Face для создания токена и модели и Google Colab для написания программы и генерации изображений.
Для удобства генерации я выписал все промпты в отдельный блок. Ниже представлены результаты работы нейросети по этим запросам.
Итоговые изображения
В генерациях я старался воссоздать не только иллюстрации животных Чарушина, но и его волшебные пейзажи.
Вывод
В начале работы я поставил цель: обучить нейросеть воспроизводить узнаваемый стиль иллюстраций Евгения Чарушина, улавливая характерную для него манеру наброска. Несмотря на то, что в некоторых сгенерированных изображениях присутствуют артефакты, я считаю, что поставленной цели достиг: нейросеть вполне успешно «мимикрирует» под его работы.
В процессе работы я заметил тенденцию к дублированию частей тел животных в некоторых иллюстрациях. Вероятно, это связано с относительно небольшим объемом использованной базы данных. Уверен, что расширение обучающей выборки работами Чарушина позволит значительно повысить точность и избежать подобных артефактов.
Что касается генерации окружения, здесь результаты полностью соответствуют моим ожиданиям, и нейросеть успешно воспроизводит стилистику фоновых элементов, характерную для иллюстраций Чарушина.
