Концепция и референсы
У каждого опытного художника есть свой узнаваемый стиль: характерные линии, инструменты, упрощения действительности, которые он разработал, замечая то, что далёкому от визуального искусства человеку не увидеть. Мне захотелось проверить, сможет ли нейросеть перенять стиль моего друга и создавать новые рисунки, которые выглядели бы так, будто их нарисовал он в своём скетчбуке.
Исходных изображений было около 50, все они были нарисованы мои другом
Для эксперимента я отсканировала около 50 страниц его скетчбука, который он носит везде и всюду. Среди них были наброски архитектуры, людей и предметов, которые окружали его каждый день. Описав то, что находится на каждой из этих фотографий, я обучила собственную модель.
Мои генерации
В основе проекта лежит идея цифрового продолжения творчества художника. Я использовала сканы оригинальных рисунков для дообучения модели, а затем проверяла, насколько хорошо она воспроизводит характерные черты авторского стиля на новых сюжетах.
Ниже — примеры промптов для генерации изображений после обучения модели.
«a drawing in RAMIL style, a single red apple, ink, watercolor»; «A drawing in RAMIL style, a beautiful woman with black and white watercolor»;"a drawing in RAMIL style, strawberry with leaves; ink, watercolor»
Описание применения генеративной модели
Для проекта я использовала Stable Diffusion XL с DreamBooth и LoRA. Сначала я оцифровала рисунки друга, подготовила датасет и обучила LoRA-адаптер, чтобы модель научилась воспроизводить особенности его художественного стиля. В первую попытку обучение проводилось по сгенерированным капчами BLIP, но для более точного обучения я переписала некоторые капчи вручную.
«a drawing in RAMIL style, a sketchbook page with single sleepy cat in the center»; «a drawing in RAMIL style, a sketch of Mona Lisa»; «a drawing in RAMIL style, a simple sketch of a Minion from Despicable Me, standing and smiling»
После обучения я генерировала изображения по коротким описаниям сюжетов. Мне было интересно проверить, сможет ли нейросеть перенести знакомую манеру рисования на новые объекты, сцены и персонажей.
В результате получился инструмент для совместного творчества: художник создаёт оригинальные рисунки, а нейросеть использует усвоенные визуальные особенности, чтобы предлагать новые идеи. Это не замена автору, а эксперимент с тем, как его стиль может продолжаться за пределами исходных работ.