От скетча к видео: Инструкция по оживлению сториборда в Wan 2.2

Представьте: вы показываете заказчику раскадровку, а персонажи на ней...в движении, машина за кадром проезжает, а интерфейс телефона оживает.

Сториборд — это душа любого рекламного ролика или презентации продукта. Но статичные картинки иногда трудно «продать» команде или клиенту. Им нужно видеть динамику, темп, смену кадров.

Мы решили провести эксперимент и превратить обычный набор скетчей в мини-видео по кадрам. Делимся рецептом: как сгенерировать крутой сториборд в Нано Банана 2, а затем вдохнуть в него жизнь с помощью модели Wan 2.2.

Шаг 1. Создаем базу: Промпт для Nana Banana 2

Прежде чем оживлять, нужно создать «актеров» и сцену. Наш промпт должен быть визуально насыщенным, но оставлять пространство для дорисовки деталей нейросетью.

Референс: Используем готовые референсы нашей модели и продукта.
Размер: 21/9 (Ультраширокий)
Наш промпт: Создай тематический сториборд для видеоролика из 6 кадров, размером 1/1. Модель на фото в точности, как на референсе (волосы, лицо, тело). Надень девушке красное детализированное бархатное платье. Фон - комната с золотыми шторами викторианской эпохи. Продукт для рекламы на втором фото (духи), сохрани их форму, цвет надписи идентичными. Высокая детализация, тематический ролик, глубокие тени, живая кожа, эффектная реклама.

Что у нас получилось по промпту в Нано Банана 2:

Совет: Не просите нейросеть делать «чистый» контурный рисунок, если вы не хотите потом все перерисовывать. Добавление слов «concept art quality» или «professional storyboard style» в Нано банана 2 дает более интересную фактуру, которую Wan 2.2 схватит и превратит в плавное движение.

Шаг 2. Оживляем статику: Промпт для Wan 2.2

Теперь у нас есть  кадр. Мы загружаем его в Wan 2.2 и пишем промпт, который фокусируется не на описании внешности (это уже есть на картинке), а на действии и настроении.

Референс: используем готовый сгенерированный сториборд.
Наш промпт: Создай эффектный рекламный видеоролик сториборда, используя кадры с референсов на фото, идеальное плавное движение камеры, живые взгляды модели в камеру, точное сохранение референсов, детализированность 4к, плавное оживление каждой картинки.

Что у нас получилось по промпту в Ван 2.2:

2 главных совета для идеального оживления сториборда

1. Правило первого и последнего кадра. Продумайте, с чего начинается движение и чем оно заканчивается. Если на вашем сториборде рука просто висит в воздухе, нейросеть придумает финал сама (иногда сюрреалистичный). Лучше, чтобы исходное изображение уже содержало намёк на действие (например, пальцы касаются коробки, а не просто лежат рядом).

2. Контроль через композицию. Wan 2.2 любит, когда в кадре есть четкий объект фокуса. Если ваш сториборд перегружен деталями, нейросеть начнет «рябить» и двигать всё подряд. Оставьте в кадре главного героя или продукт, остальное пусть будет слегка размыто.

Подводим итоги:

Связка Nanana Banana 2 и Wan 2.2 позволяет нам, художникам и маркетологам, перестать думать категориями «картинка» и начать мыслить категориями «время».

Все изображения и видео были сгенерированы на платформе Холст.ИИ