Обучение генеративной сети под собственный стиль
Введение
Идеей данной работы стало желание натренировать модель, способную генерировать интерьеры и локации, вдохновленные серией игр Silent Hill. Игра является достаточно культовой и обладает своим определенным стилем (в частности это относится к 1 и 2 части серии). Помимо определенного фильтра и стиля, была попытка разнообразить элементы, натренировав модель на основе заброшенных и полуразрушенных интерьеров.
Начало работы
Подготовим рабочую среду и загрузим необходимые материалы.
Импортируем наши датасеты.
Подготовим наши изображения для первой модели и дадим ей prefix
Проделаем то же самое, но с другим датасетом.
Обучение модели
Запуск обучения второй модели.
Тестироваение модели
После того, как я научил модель, хочу протестировать то, насколько удачно она может передавать стиль Silent Hill. Поэтому начну с генерации кухни
Получается в целом приближенно к стилю игры, даже есть прорисовка каких-то маленьких объектов, однако пока слабое попадание в качественную светотень.
Отлично получаются объекты в генерации прачечной комнаты, также при незначительном изменении настроек промпта добавляется более мрачная и грязная атмосфера.
Попробуем сгенерировать детскую комнату.
Это дается модели чуть сложнее, но с изменением промпта со второго раза получается приближенный к тому, что хочется видеть, результат.
Теперь загрузим вторую модель и протестируем ее работу.
Попробуем начать с спальни.
Отлично получается передать как общую картину, так и мелкие объекты и светотень.
Не похоже на клуб в привычном его понимании, но детально все так же хорошо, как и в первом случае.
Попробуем что-нибудь другое, например — кухню.
И снова отлично, кухня отчетливо передает ощущение разрухи и заброшенности, все соответствует желаемому запросу.
Снова небольшая проблема в генерации отдельных объектов, однако окружение работает отлично.
Теперь попробуем загрузить 2 модели и протестируем их
Попробуем повторить старые запросы, в каких-то случаях поменять промпт и проследить как и где работает или не работает наша модель.
Начиная отсюда, после определенных изменений промпта, 2 модели начинают работать друг с другом лучше и прорисовывают детальную разруху в стиле игры.
Здесь снова отстутстуют необходимые для заброшки детали, становится понятно как необходимо использовать запрос.
Теперь попробуем добавить новых вводных в запрос и протестируем.
В первом случае модель поняла что речь про мясо от тега «meat», однако в случае с шаурмечной, тег «kebab» дал только справа вертиль и небольшую рабочую зону, что в целом неплохо, но не то, что ожидалось увидеть.
Однако, в случае с бургерами, модели сработали лучше и добавили бардовые оттенки, как в случае с мясным магазином.
Теперь попробуем модель на ее работоспособность в других запросах, например животных.
Суслик получился как всегда великолепным и соответствует стилю игры, но эта история больше похожа на комикс.
Попробуем другое животное, например — черепаху.
Думаю, это одна из лучших генераций в проекте. Идеально получилось как и само животное, так и специфическое окружение + соответствующий игре фильтр.
Бабочка также неописуемо красива, теперь ясно, что модель может как генерировать окружение, так и качественно включать какие-либо объекты по запросу внутрь этих пространств.
Попробуем еще раз сгенерировать окружение, несколько упростив запрос.
Теперь точно то, что нужно, осталось попробовать добавить неожиданный объект в виде черепахи
Заключение
В заключение, хочется сделать вывод о том, что модель научилась генерировать необходимый стиль изображения, а также должную детализацию разрушенных помещений, хотя и чаще неудачно. Среди них, сильнее выходит на первый план фильтр игры.
Неожиданным оказалось то, как модель может совмещать отдельные от темы запросы с тем, чему она обучилась. В частности бабочка с черепахой кажутся реальными персонажами в контексте этих изображений, что как мне кажется, можно считать дополнительным успехом.
