Обучение генеративной нейросети под стиль цифровых ошибок
описание идеи
Я решила обучить генеративную нейросеть под стиль диджитал ошибки. Меня всегда интересовала роль случайного в искусстве — того, что не могло бы произойти намеренно, и от этого неповторимо. Я решила, что было бы иронично и полезно попробовать контролировать процесс появления этих ошибок: ведь обычно, когда я нахожу сбои в графических средах красивыми, я никогда не могу повторить полученный эффект самостоятельно.
процесс работы
Сначала я загрузила все необходимые для работы библиотеки. Далее я также загрузила датасет с заранее найденными изображениями в стиле цифровых ошибок и убедилась, что они действительно загрузились.
Затем для корректного обучения нейросети я создала подписи к каждой картинке, чтобы проверить, верно ли распознаются изображения.
После регистрации в системе Hugging Face я начала тренировку нейросети и выставила все необходимые параметры для быстрого и качественного результата.
После обучения я приступила к написанию промтов и генерации изображений, которые, в соответствии с идеей, будут результатом запрограмированного сбоя, искажения и заедания.
финальная серия
Я создала несколько изображений, чтобы проанализировать результаты и отобрала наиболее наглядные и удачные для финальной серии.
Первой я сгенерировала сцену из абстрактных простых форм, которые создавали бы большое количество непростых сломов, повторений и искажений. Целью было превратить базовый и минималистичный элемент в нагруженную картину, посмотреть, как работает глитч на объемных фигурах. Эти изображения не вошли в финальную серию из-за стилистической разрозненности, но были полезными для понимания работы нейросети.
Затем я решила сгенерировать изображение с более сложным, но все еще состоящим из простых форм элементом — ступенями. Описала более конкретную композицию, чтобы увидеть, насколько узнаваемой она останется — понять, насколько контролируемо изменение глитчем.
Далее я усложняла формы, смотрела, как именно они могут преломиться, «заесть».
После усложнения форм я перешла к генерации полной абстракции, где можно было бы не следить за узнаваемостью форм, не добавлять в промт «minimalistic» или названия предметов и сцен.
Посмотрев, как нейросеть генерирует глитч на формах разной сложности и отличающихся сценах, я решила сгенерировать изображения, которые могли бы быть похожи на те, что я получаю в графических редакторах при ошибках в отображении.
Таким образом, серия изображений показывает разные абстрактные композиции и формы, полученные путем использования стиля цифровой ошибки, намеренного «сбоя». Многие изображения оказались очень похожими на исходные, повторяют их визуальный принцип «надлома». Получилось создавать как абсолютно абстрактные композиции, так и преломлять саму форму предметов, а также пейзажные сцены, сохраняя узнаваемость окружения. Первоначальная идея проекта не исказилась: контролировать и направлять процесс, наполненный случайностями искажений, получилось. Это полезно для создания подобных неожиданных абстракций — составить самостоятельно подобную композицию «случайно» без использования современных технологий было бы крайне сложно.
В результате обучения нейросеть: 1/ генерирует фрагментарные глитч изображения 2/ превращает глитч в материал, пространство и абстрактные композиции 3/ взаимодействует со сбоем как с визуальным языком
Использованные инструменты: Google colab — выполнение кода, генерация. Stable Diffusion — обучение нейросети под нужный стиль. Hugging Face — получения токена.
