Почему персонаж в нейросети каждый раз разный и как сделать одинакового героя
Консистентный персонаж — главная боль генеративного видео и картинок. Разбираю, откуда она берётся и какой подход работает на практике.
Любой, кто пробовал делать серию картинок или роликов с одним героем, сталкивался с этим: в первом кадре героиня с каре, во втором — с длинными волосами и другим лицом. Модель не «помнит» человека между генерациями: каждое описание она рисует заново.
Почему описание словами не помогает
«Женщина 30 лет, каштановые волосы, зелёные глаза» подходит миллионам лиц. Модель выбирает одно из них случайно. Чем подробнее описание, тем ближе результат, но лицо всё равно плавает.
Что работает: референсы
Современные модели умеют принимать фото-референсы и держать по ним внешность. Но одно фото анфас — слабый референс: в профиль или со спины модели приходится додумывать.
Поэтому мы в CG Pro сделали раздел «Персонажи»: из одного или нескольких фото система рисует лист персонажа и шесть ракурсов — анфас, три четверти, профиль, со спины, лицо крупно и полный рост. Эти ракурсы потом уходят в модели как референсы. Подробно — на странице персонаж из фото.
Если своего фото нет, внешность можно собрать в конструкторе из образцов: пол, возраст, лицо, глаза, причёска, стиль одежды. Портрет собирается именно из выбранных картинок, а не только по словам.
Где это пригодится
- Картинки. Серия постов или карусель с одним героем — генерация картинок нейросетью с подстановкой персонажа.
- Видео. Seedance и Kling принимают несколько референсов, поэтому герой остаётся собой весь ролик: генерация видео нейросетью.
- Оживление. Снимок героя можно оживить — модель стартует именно с вашего кадра.
Перенос движения: два разных подхода
Отдельная задача — чтобы персонаж повторил движение из реального видео. Тут важно понимать разницу между моделями. Kling Motion Control берёт из видео только движение, а фон и всё остальное в кадре — с фото персонажа. Если нужно, чтобы герой оказался в сцене исходного видео, подходит Kling 4.0: он ставит персонажа на место человека, сохраняя фон и движение.
Мы сами споткнулись об это на тестах: ролик с футбольного поля превратился в танец на сером студийном фоне. Теперь в интерфейсе оба режима подписаны прямо.
Итог: консистентность — не магия модели, а подготовка референсов. Потратьте время один раз на хороший лист ракурсов, и дальше каждая генерация будет экономить его вам.