Fooocus SDXL – стилизуем портреты

Сегодня будем экспериментировать с SDXL в Fooocus. Fooocus последнее время мне нравится всё больше и больше. Наша задача получить стилизованное изображение портрета. И ещё! Нужно, чтобы в будущем можно было вернуться, и получить стабильный, предсказуемый результат.

Модель, промт стиля

Итак, начнём! Для начала берём SDXL модель, которая умеет делать как фотореализм, так и иллюстрации. Я выбрал модель SahastraKoti XL – Photorealistic, SFW, NSFW, True, которая подходит под мои требования. Дальше, не долго думая, я нашел в примерах промт, который даёт тот стиль, который мне понравился. Я сделал несколько пробных изображений – получилось хорошо, мне нравится. Со стилем мы определились.

 

На этом этапе была замечена закономерность – если на вкладке “Style” включены какие-то стили, то они дополняют перебивают наш стиль из промта. Это нужно учитывать. Все стили фокуса должны быть отключены.

Рефайнер

Если внимательно посмотреть галерею выше, то можно увидеть, что некоторые изображения (6 и 7, 8 и 9) почти одинаковые, но отличаются реалистичностью. Это рефайнер. Сначала работает одна модель, а после этого, изображение передаётся во вторую модель, рефайнер. Дальше вторая модель генерит по тому-же промту, но результат уже другой.

Это хорошо работает, если мы используем только текстовый промт.  Сначала SDXL модель за несколько (12-20) степов делает заготовку большого изображения, гораздо большего, чем 512 на 512. А дальше, в эстафету включается уже фотореалистичная модель SD1.5. Результаты выше всяких похвал. Модель SD1.5 видит наш стиль из промта и хорошо его отрабатывает. 

Настройки

Refiner Switch At – параметр, отвечающий за то, когда сменится Базовая SDXL модель на другую. В разделе Performance  есть три варианта – Это аналог степс из автоматика. Speed – 30 степс, Quality – 60 степс, xtreme Speed – 8 степс (LCM). Таким образом, умножаем количество шагов из Performance (8,90,60) на Refiner Switch At и получаем шаг, на котором сменится модель. Именно так и были получены пары изображений 6-7 и 8-9 из галереи выше. 

Стилизация имеющегося портрета.

Теперь переходим к нашей стилизации портрета. Допустим, у нас есть фото, и мы хотим получить стиль из промта и лицо с имеющейся фотографии. Ставим галочку Input Image, дальше выбираем  и закидываем в окошко нашу фото. Под фото ставим CPDS!  FaceSwap для этого не подходит. FaceSwap старается подогнать лицо с вашего фото на новую картинку с промта. И этим убивает стилизацию из промта. При этом, лицо напоминает референс, но мы всё равно получаем другое лицо.  Нам это не подходит.  Ставим CPDS.  снизу два параметра  – Stop At и Weight. 

Stop At отвечает за то, когда (на каком шаге) нейросеть перестанет сверяться с вашим изображением, а Weight указывает, с какой силой нейросеть будет пытаться скопировать ваше изображение. Значения выше 1,1 сильно искажают и портят изображение. Значения меньше 1 – нейросеть придумывает отсебятину. Оптимальное значение – 1. А вот со Stop At всё немного интереснее. Если поставить в этом поле 1, то нейросеть будет сверяться с вашим портретом все степсы, а если поставить 0,3, то после трети шагов модель будет придумывать отсебятину. И вы получите абсолютно другое лицо. Так что смело можно ставить в обоих значениях единицы, а рефайнер отключить. Но что будет, если мы сделаем Stop At и Weight по единице, а Refiner подключим, допустим, на 25%? Вторая нейросеть (Рефайнер) не получит вашего фото с референсом, и просто будет пытаться дорисовать то изображение, которое ей передала первая модель. И опять же у Вас будет совершенно другой человек. Может получиться, что даже другого пола.  

К чему пришли?

Что имеем в сухом остатке? Лучшие результаты получаю, если использовать метод CDPC, Stop At и Weight по единице. Рефайнер на 85%, рефайнер – epicrealism_naturalSinRC1VAE.safetensors.  Понятно, что лицо отличается от референса, но в случае применения промтов со стилизацией это простительно. Вот несколько вариантов того, что получилось в итоге.