Обучение генеративной нейросети | Михаил Александрович Врубель
В качестве итогового задания модуля было принято решение об обучении генеративной нейросети на основе работ Михаила Александровича Врубеля
Творчество Михаила Александровича Врубеля является знаковым в истории искусства и оказало на меня значительное влияние при первом знакомстве с его работами. Чистое любопытство привело меня к идее получить больше изображений в его уникальном стиле, включая сюжеты, которые никогда не были отражены в его картинах.
Нейросеть была обучена на основе базы данных, собранной из 24 работ художника, кадрированных в масштабе 1024×1024.
Это была моя вторая попытка обучения нейросети. Первой стала попытка обучения нейросети на основе 150 работ другого художника, однако результат оказался неудовлетворительным, и мне захотелось узнать, как нейросеть уловит характер изображения художника в условиях небольшого датасета.
_00 | Описание применения генеративной модели
Обучение производилось с использованием среды выполнения Google Collab.
Для начала я использовала модели искусственного интеллекта BLIP для генерации описаний изображений, который поможет обучить мою модель на парных данных: изображениях и соответствующих текстовых подписях.
В качестве модели генерации изображений был выбран Stable Diffusion XL c добавлением методов DreamBooth и метода LoRA.
Другие нейросетевые модели в проекте не использовались.
_01 | Генерация портретов
Характерные черты прослеживаются у Михаила Александровича Врубеля в изображении портрета человека. К ним относятся:
- Выразительные глаза - Утонченные черты лица - Четкие мозаичные мазки
Лирические образы становятся центром работ художника, поэтому, чтобы протестировать качество генераций нейросети, я решила начать именно с портрета.
Получившийся результат действительно оказался похож на стиль Михаила Врубеля. Нейросеть повторила акцентированные глаза и скопировала характер мазков, однако не попала в характер материалов и сделала мазки полупрозрачными акварельными, а не густыми, как на оригинальных изображениях, что прослеживается во всех генерациях.
Вероятно из-за небольшой выборки изображений, нейросеть воспроизводила одинаковые черты лица.
Также я провела серию генераций, сосредоточенных на женском портрете. Нейросеть все еще использовала одинаковые черты лица, однако очень характерные для работ художника, что можно заметить по сопоставлению ниже. Вдобавок я заметила, что нейросети тяжело воспроизводить дорогое убранство и узоры, которые свойственны работам Михаила Врубеля.
Также была проведена серия генераций изображений человеческого глаза. Однако в этих работах авторский стиль практически утратился. Вероятно, для успешного решения данной задачи нейросети требовалось дополнительное обучение на кадрированных изображениях глаз, так как модель не в состоянии сохранять стиль в отрыве от изображения лица.
_02 | Повторение сюжетов
Далее я хотела попробовать воспроизвести характерные сюжеты для Михаила Врубеля.
В качестве референсов я выбрала 3 работы и постаралась сгенерировать нечто близкое к оригиналу: «Шестикрылый серафим» (1904), «Демон поверженный» (1902), «Девочка на фоне персидского ковра» (1886) .
Так я создала серию генераций, желая сравнить их с картиной «Шестикрылый серафим» (1904). В данном случае промпт оказался недостаточно точным и лишь требовал воспроизведения серафимов, которые получились слишком нежными по сравнению с оригиналом.
В дополнение, для достижения разнообразия, я попросила изменить внешность серафима, чтобы внести коррективы в однородность внешних черт генераций.
Следующий промпт чуть более точно описывал желаемый результат, референсом была картина «Демон поверженный» (1902). Именно в процессе экспериментов с этими генерациями появилась невероятная обложка данного проекта, на которой нейросеть решила добавить герою темные очки.
Для описания картины «Девочка на фоне персидского ковра» (1886) также был составлен короткий и простой промпт. Тем не менее, нейросеть справилась с задачей. Вероятно, это произошло из-за того, что в выборке представлено единственное изображение ребенка, на которое она могла опираться.
В результате получились генерации внешне очень похожей девочки.
_03 | Пейзажные изображения
Пейзажные изображения никогда не были центром творчества Михаила Александровича Врубеля, однако их элементы присутствуют в его картинах в качестве окружающей персонажей среды.
Поэтому я решила посвятить несколько серий генераций тому, как могли бы выглядеть в исполнении художника пейзажные этюды.
Порадовало то, что нейросеть напрямую перенесла цвета с картины «Демон сидящий» (1890) и адаптировала их под запрошенный контекст.
Этот блок вышел одним из лучших, так как нейросети отлично удалось попасть в стиль автора. Заметно, что нейросеть довольно четко опирается на изображения, на которых училась. Так, паттерн изображения цветов явно повторяет картину «Сирень» (1900), а цвета копируются напрямую, как в случае генераций заката или генераций пейзажа при яркой луне.
_04 | Время экспериментов
Не хотелось ограничиваться исключительно проверкой схожести, поэтому были проведены несколько экспериментов по созданию серий изображений на темы, ранее не отражавшиеся в работах Михаила Александровича Врубеля.
В качестве отправной точки был выбран образ чародея в лесу. Эта серия стала одной из наиболее любимых мною в рамках всего проекта. Она привлекает своей загадочностью, характерной для творчества художника, при этом создавая диссонанс за счет незнакомых элементов, присущих стилю Михаила Врубеля.
Я продолжила опираться на фэнтезийный сеттинг, создав серию генераций образа лесного эльфа. На протяжении всех генераций лица, создаваемые нейросетью, сохраняли схожесть со стилем Михаила Врубеля. Серия изображений с эльфом не стала исключением, однако, по моему мнению, атмосфера врубелевских работ была утрачена, и нейросеть отклонилась в сторону избыточной сказочности.
Далее я решила попробовать воспроизвести что-то из современного сеттинга. Однако на некоторые запросы нейросеть давала сбой и выдавала хаотичные мазки в стиле и цветовой гамме художника, но без фигуративных элементов.
В конце концов, мне удалось создать удачную серию изображений офисного работника в рубашке. Идея образа далека от работ Михаила Врубеля, однако реализация не выглядит выбивающейся, так как генерации больше напоминают обычные портреты в исполнении автора. Тем не менее, стиль художника удалось передать.
_05 | Подведение итогов
Подводя итог, стоит отметить, что в ходе проекта удалось совершить множество успешных генераций. Некоторые результаты действительно оказались близки к стилю Михаила Александровича Врубеля и удачно воспроизвели его характерные черты. Например, серия генераций с чародеем выглядит так, будто могла бы стать эскизом для работы художника.
Однако, как бы генерации ни были близки к стилевым особенностям автора, они не могут повторить ту глубину образов, созданных Михаилом Александровичем Врубелем, не говоря уже о более очевидных недостатках, таких как анатомические и логические ошибки, невозможность изобразить детализированные и декорированные объекты, а также непонимание некоторых промптов.
