Генеративная интерпретация работ Мэтью Стоуна
Мэтью Стоун — современный художник, в творчестве которого живописные мазки кистью сочетаются с возможностями цифрового моделинга.
Его техника работы демонстрируют развитие живописи и ее места в мировой истории искусства. Главной и отличительной чертой его работ является то, что все они несут нескончаемый поток энергии и красок, заряжая энергетикой.
Примеры работ (исходные изображения для обучения)
Идея проекта заключается в том, чтобы изучить, насколько глубоко нейросеть способна понять сложные визуальные элементы стиля работ художника — такие как динамика форм, экспрессия цвета, текстура его работ.
Вторая цель — рассмотреть, может ли нейросеть стать новым инструментом для расширения границ авторского стиля или даже создавать произведения искусства, которые дополнят оригинальное творчество художника.
Процесс обучения
Для обучения нейросети использовала датасет из 60 работ художника размером 1024×1024 px.
Критерии к фото: хорошее качество и размер, разнообразные формы и сюжеты, единый стиль работ. Всего обучение у нейросети заняло 2 часа и 30 минут.
Некоторые промты для генерации: «photo collage in STONE style, a man and a woman look at each other with their hair» «photo collage in STONE style, brush strokes» «photo collage in STONE style, portrait of a woman with long dark hair» «photo collage in STONE style, portrait of a man with colored hair. The man is sitting» «photo collage in STONE style, a man with blue hair and a woman with dark hair are dancing»
Серия сгенерированных изображений
Для меня живопись идет нераздельно с выражением своих чувств. То как художник наносит мазки, какие выбирает цвета… все это переносит на холст внутреннее состояние автора.
В серии сгенерированных изображений я хочу показать историю, произошедшую между двумя людьми. Передать эмоции, с помощью стиля Стоуна.
Выводы
Обученная нейросеть хорошо смогла передать текстурные мазки из картин Мэтью Стоуна, построение тел из мазков и цветовое разнообразие.
Но крупные портретные картинки она генерировала с трудом. Очень часто рисовала людей без одного глаза, самым частым стал мужской образ.
Нейросеть смогла хорошо уловить стиль художника, при обучении на большем количестве изображений и при увеличении числа шагов обучения, результат сможет стать ещё лучше.
Такая нейросеть может служить как инструмент генерации отдельных мазков, для поиска вдохновения.
Описание применения генеративной модели
Обучение генеративной нейросети Stable Diffusion. Ноутбук с кодом
Улучшение качества фото с помощью krea.ai
