Как нейросеть делает видео
Прежде чем писать запросы, нужна общая картина: что нейросеть делает с видео, чего от неё ждать и где она подводит.
Нейросеть собирает короткий клип по тексту или по картинке. Длинный ролик получается склейкой таких клипов. Здесь — виды генерации, где нейросеть сильна и где подводит.
Что такое генерация видео
Сквозной пример курса — 15-секундный ролик для кофейни «Зерно» в Алматы. Один зал, кофе с собой, зёрна на вынос. Кофейня учебная, цифры в примерах выдуманные и круглые. Свой проект подставишь на практике.
Видео, которое нейросеть создаёт по описанию или по картинке, а не снимает камерой. Нужно там, где съёмка дорога, долга или невозможна: атмосферные кадры, абстрактные сцены, быстрые наброски идей.
ПримерВместо съёмки пара над чашкой на закате сервис за минуту рисует такой кадр по описанию.
Один непрерывный кусок сгенерированного видео. Нейросети обычно выдают короткие клипы длиной в несколько секунд, точный предел смотри в самом сервисе. Нужен как кирпич: ролик собирается из клипов.
ПримерРолик «Зерна» на 15 секунд собирается из пяти клипов по 3 секунды: 5 × 3 = 15.
Два способа начать
Режим, где ты пишешь описание, а нейросеть сама придумывает и героев, и свет, и движение. Быстро и свободно, но трудно удержать один и тот же вид героя и места от клипа к клипу.
Пример«Бариста наливает молоко в капучино, тёплый утренний свет, крупный план». Сервис придумал и бариста, и чашку, и стол.
Режим, где ты даёшь готовый кадр, а нейросеть его оживляет. Ты управляешь тем, как выглядят герой и сцена, а нейросеть добавляет только движение. Для ролика из нескольких сцен этот способ надёжнее.
ПримерТы берёшь кадр с чашкой и зёрнами, и сервис добавляет пар и лёгкое движение камеры.
Образец, на который нейросеть должна быть похожа: картинка героя, места, стиля. Нужен, чтобы не перечислять словами то, что проще показать.
ПримерОдно фото фартука цвета охры, и во всех клипах бариста в таком же.
Из чего складывается результат
- Идея и раскадровка. Что показываем по сценам
- Кадры. Картинки героя и мест, если идёшь через картинку в видео
- Клипы. Генерация каждой сцены, по несколько дублей
- Отбор. Берёшь лучший дубль, бракуешь артефакты
- Монтаж. Склейка, текст, звук, субтитры
- Проверка и публикация. Права, отметка об ИИ, качество
Каждый шаг — отдельный урок курса. Обрати внимание на последние три: именно там обычно решается, получился ли ролик, который не стыдно выложить.
Где нейросеть сильна и где подводит
Дефект в сгенерированном кадре: лишние пальцы, плывущие предметы, исчезнувшая деталь, искажённое лицо. Нужно знать их в лицо, чтобы замечать на просмотре.
ПримерВ клипе бариста наливает молоко, а у чашки на втором плане появилась вторая ручка. Это артефакт: дубль бракуется.
Дрожание деталей от кадра к кадру: меняется цвет, форма или текстура. Хорошо видно на мелких предметах и тексте.
ПримерЗёрна в стеклянной банке слегка меняют форму между кадрами и кажутся живыми. Для зёрен на вынос это плохо.
Нейросеть хорошо делает атмосферу: свет, пар, текстуры, плавную камеру. Хуже справляется с мелкой механикой: руки, надписи, точные логотипы, предметы в движении. Поэтому настоящие надписи и логотип «Зерна» добавляй при монтаже, а не проси нарисовать.
Сервисы
Сервисов много, они быстро меняются, и у каждого свой интерфейс, лимиты и условия. Higgsfield — один из них. В курсе мы разбираем принципы, которые работают в любом: как строить сцену, как писать запрос, как держать героя, как склеивать. Кнопки и модели смотри в самом сервисе.
Сколько клипов и картинок сервис даст на твоём тарифе: в кредитах, минутах или штуках. Нужно планировать заранее, потому что на каждую сцену уходит несколько попыток.
ПримерНа ролик из пяти сцен с тремя дублями на каждую нужно 15 генераций. Если лимит меньше, сократи дубли или сцены.
- Ждут готовый ролик одной кнопкой, а получают набор разных по виду клипов
- Просят в одном запросе сразу всю историю и теряют контроль над сценой
- Просят нарисовать настоящий логотип и надписи в кадре
- Не считают лимит и тратят всё на первые клипы
- Выдают сгенерированное за настоящее фото места или еды
- Можешь объяснить разницу между текстом в видео и картинкой в видео
- Знаешь, что ролик собирается из коротких клипов
- Знаешь шесть шагов от идеи до публикации
- Узнаёшь артефакты и мерцание
- Понимаешь, что надписи и логотип лучше добавлять при монтаже
Видео из нейросети — это набор клипов, а не готовый фильм. Качество ролика решают раскадровка, отбор и монтаж.