Идея проекта
Проект направлен на обучение нейросети, обладающей способностью понимать и воспроизводить визуальные стили, характерные для признанных мастеров иллюстрации и живописи.
Нейросеть обучается на репрезентативной базе данных картин знаменитого художника, изучая композицию, цветовую палитру, технику мазка, особенности освещения и другие ключевые элементы, формирующие его уникальный художественный почерк.
Картины Эдварда Хоппера
Художником, чьи работы стали основой данного проекта, является Эдвард Хоппер — выдающийся американский живописец-реалист, мастер передачи урбанистического отчуждения и создатель культовой картины «Полуночники» (Nighthawks). Искусство Хоппера — это застывшие кинематографичные кадры, пропитанные звенящей тишиной и меланхолией. Его герои всегда погружены в себя, находясь в пустых кафе, безликих гостиничных номерах или на залитых жестким солнечным светом заправках.
Картины Эдварда Хоппера
Интерес к оцифровке стиля Эдварда Хоппера с помощью нейросетей обусловлен тем, что этот стиль бьет в самую слабую точку искусственного интеллекта. Генеративные модели страдают «боязнью пустоты» (horror vacui) — они по умолчанию стремятся заполнить кадр максимальным количеством деталей, мелких текстур и объектов. Стиль Хоппера же строится на радикальном минимализме: половину его холста может занимать абсолютно пустая, гладко выкрашенная стена или глубокая тень. Заставить диффузионную модель отказаться от «визуального мусора», научить её рисовать звенящую пустоту, строгий геометрический свет и передавать чувство экзистенциального одиночества — это сложнейшая инженерная задача, требующая ювелирного файнтюнинга.
Техническая реализация (Google Colab и LoRA)
В рамках проекта обучение проводилось в облачной среде Google Colab с использованием метода LoRA (Low-Rank Adaptation). Этот подход позволяет дообучить тяжелую базовую модель (например, Stable Diffusion), обновляя лишь крошечную часть весов, что делает процесс быстрым и возможным на потребительских видеокартах.
Ниже будет приведён реальный код пайплайна, использованный в проекте.
1. Установка зависимостей и подготовка среды
Для начала необходимо установить актуальные библиотеки машинного обучения от Hugging Face: diffusers для работы с диффузионными моделями, peft для интеграции LoRA и accelerate для управления памятью GPU.
Фрагмент кода
2. Запуск процесса обучения (Fine-tuning)
Для обучения используется официальный скрипт train_text_to_image_lora.py. Модель обучается ассоциировать визуальные паттерны датасета с триггерным токеном (в нашем случае Hopper style).
Фрагменты кода
Фрагмент кода, включающий исходные изображения
В этом блоке задаются критические гиперпараметры: разрешение изображений, количество шагов (1500 обычно достаточно для стиля на 15 картинках) и косинусное расписание скорости обучения (learning rate) для плавного схождения градиентов.
Фрагмент кода
3. Инференс (Генерация изображений)
После завершения обучения полученные веса LoRA накладываются поверх базовой модели. Следующий Python-код демонстрирует процесс генерации.
Фрагмент кода
Фрагмент кода
Картины Эдварда Хоппера отличаются ярким, узнаваемым стилем, который характеризуется несколькими ключевыми особенностями: • Резкий, театральный (часто диагональный) солнечный или искусственный свет, создающий строгие геометрические тени. • Ощущение застывшего времени: композиции выглядят как случайный кадр из старого кинофильма. • Радикальный минимализм в деталях: пустые столы, голые стены, отсутствие отвлекающих предметов интерьера. • Приглушенная, реалистичная цветовая палитра с редкими, но выразительными акцентами. • Психологическая изоляция: персонажи погружены в свои мысли и кажутся бесконечно одинокими.
Сгенерированные изображения
Примеры сгенерированных изображений и промпты
Для тестирования модели и раскрытия её потенциала были составлены специальные промпты. Ниже представлены некоторые из них.
— Одиночество в кафе: «A lonely man in a fedora sitting at a curved diner counter late at night, empty coffee cup, photo in Hopper style, dark empty street outside the window, harsh fluorescent lighting, cinematic isolation.» - Утреннее солнце: «A woman sitting on the edge of a bed in a sparse hotel room, looking out the window, photo in Hopper style, sharp diagonal morning sunlight hitting the blank wall, deep shadows, melancholic mood.» - Офис в мегаполисе: «A businessman standing alone in a high-rise office at dusk, looking down at the city, photo in Hopper style, stark geometric shadows, vast empty interior space, mid-century modern aesthetic.»
Сгенерированные изображения
