Бессмертный автор
Этическую сторону использования генеративных нейросетей для подражания и копирования стиля автора можно оценивать по-разному.
Но среди прочего, этот процесс пронизан идеей цифрового бессмертия творца.
В процессе работы над эти проектом я погрузился в изучение творчества живописца, Джона Эткинсона Гримшоу.
Этот знаменитый художник Викторианской эпохи оставил после себе довольно внушительное наследие — более полутора сотен полотен. Основную их часть составляют тщательно детализированные городские и природные пейзажи просторов родной Англии. Большое внимание уделялось игре света — на стенах зданий, мокрой мостовой, густой дымке тумана или тысячах листьев осенних деревьев.
Мне стало интересно — а что, если бы он мог путешествовать по миру и во времени? Как бы выглядели современные архитектурные памятники на его картинах?
Исходный датасет
Я выбрал 20 работ художника, с каждой из которых был отобран квадратный фрагмент 1:1.
Учитывая, что большинство оригиналов имеет вытянутый формат, задача состояла также в том, чтобы выбранный фрагмент не ломал критически авторскую композицию.
Для выделения стилевых особенностей автора использовалось до-обучение на примере данного датасета генеративной модели Stable Diffusion с помощью методик Dream Booth и LoRa.
Для применения этих инструментов использовался Hugging Face.
Результаты до-обучения
После проведенного до-обучения модели, с помощью отдельных промтов были сгенерированы новые изображения современных архитектурных памятников и индустриальных пейзажей.
Сами промты c примерами объектов были сгенерированы с помощью Chat GPT.
Полученные изображения переняли стилистические особенности художника.
Легко угадываются основные композиционные решения, особенности свето-тени, а также большое внимание к влиянию атмосферных эффектов и погоды на «оптику» зрителя.
Тем не менее, полученные изображения «зациклились» на зеленой цветовой палитре, что говорит о необходимости более тщательной настройки и контроля на этапах до-обучения.
