Рабочая тетрадь

Основы монтажа. Lip Sync

Курс AI-Movie. Модуль 3/6

В этом модуле:

Теория: правила чередования планов, vfx, анимация текста, создание титров.

Практика: Улучшение и редактирование ваших видеопроектов, использования визуальных эффектов, анимация текста, Создание видеоклипов с Lip Sync

Check-in

Опишите кратко тремя кадрами место действия, не используя описание места в целом./ Если бы вы могли жить в мире любого фильма, какой бы вы выбрали и почему? + ... и вот я здесь.

Монтаж: основные техники и планы

Монтаж — это процесс выбора, соединения и упорядочивания отдельных кадров и сцен в цельное повествование. Это ключевой этап постпродакшна, который определяет, как зритель воспринимает историю, её ритм и эмоциональный тон. Многие говорят, что фильм создается в монтажке. И так оно и есть. В киношколе первым делом вам покажут вот это видео.

Эффект Кулешова — это принцип монтажа, открытый советским режиссером и теоретиком кино Левом Кулешовым в 1920-х годах. Этот эффект демонстрирует, что значение и восприятие кадра зависят от окружающих его кадров. Суть эффекта в том, что один и тот же кадр может вызывать разные эмоции и интерпретации в зависимости от того, с какими кадрами он смонтирован. Эффект Кулешова показывает, что зритель интерпретирует кадры не только на основе их содержания, но и на основе их контекста. Этот принцип стал основой теории монтажа и оказал значительное влияние на развитие кинематографии.

Применение эффекта Кулешова:

• Создание ассоциаций: С помощью монтажа режиссер может создавать у зрителя ассоциации между различными объектами или событиями, усиливая эмоциональное и смысловое восприятие сцены.

• Манипуляция восприятием: Эффект Кулешова позволяет манипулировать восприятием зрителя, заставляя его видеть то, что режиссер хочет ему показать, даже если этого нет в кадре.

• Раскрытие персонажей: Комбинирование кадров может помочь глубже раскрыть характеры и эмоциональные состояния персонажей, показывая их реакции на определенные события или объекты.

Основные техники монтажа

• Монтаж по времени: Сцены монтируются в хронологическом порядке.

• Параллельный монтаж: Одновременное показание двух или более действий, происходящих в разных местах.

• Монтаж по кадру: Сочетание кадров с различными планами для создания ритма и динамики.

• Скрещенный монтаж: Переключение между двумя действиями, которые происходят одновременно и связаны друг с другом.

Основные виды планов

Раскадровка — это ключевой этап в процессе кинопроизводства, который представляет собой визуальный план фильма или сцены, выполненный в виде последовательности рисунков или изображений. 

Создавая AI фильм мы по сути все время делаем раскадровку. Это и превизуализация сценария и первый монтаж. Мы рекомендуем на первых порах монтировать изображения, перед тем как их анимировать. Это даст вам понимание, чего не хватает, что нужно добавить, а что изменить или вовсе удалить и не тратить ценное время и ресурсы.

Спецэффекты. FX — Runway

Remove Background удаляет, размывает или заменяет фон в видео. 

Inpainting  удаляет людей и объекты из видео.

ColourGrade (LUT) — цветокорекция видео по промпту. 

Super SloMo не обязательно использовать для замедления. можно ускорить это видео для улучшения интерполяции и плавности кадров и улучшения общего качества! 

Blur Faces определяет лица на видео и размывает их.

Depth of Field — настройка глубины кадра на видео. Лучше всего работает, если на исходном видео все в фокусе. 

Scene Detection — автоматически разрезает видео на отдельные клипы.

Extract Depth автоматически генерирует карту глубины видео.

Motion Tracking — автоматический трекинг обьекта на видео.

Gen 2 можно также использовать для генерации титров и текстур.

Создание и анимация титров

1. Начните с создания изображения текста на зеленом фоне (например, в Midjourney).

2. Перенесите изображение в Gen-2, добавьте текстовый промпт (описание).

3. Добавьте подсказку, описывающую, что вы хотите, чтобы буквы делали, и установите значение General motion/Общее движение  на высоких значениях (рекомендуем от 7 до 10).

4. Сделайте генерации, пока не получите нужную. Можно использовать seeds, которые рекомендует сам Runway.
Рабочие сиды для анимации текста:

• 3479942342

• 1887763640

• 442533868

5. Возьмите seed анимации, которая понравилась и повторно используйте его для новых генераций, изменяя при этом промпт (действие).

6. После получения понравившейся анимации, уберите зеленый фон и разместите поверх видео, на котором предполагается титр.

Создание и анимация текстур:

1. Начните с анимации текст2видео необходимой текстуры. Например: abstract mist, abstract blurry beam of light on black background.

2. С помощью freepreview выберите подходящее изображение и анимируйте его.

3. В любой монтажной программе объедините с вашим видео при помощи наложения и бленда 2 видео вместе. 

LipSync. Runway и Elevenlabs

LipSync — генерация голоса и анимация движения рта.

В Runway возможна в двух вкладках — сразу после анимации или в отдельной вкладке:

1. с главной страницы:

2. во вкладке Audio в панели инструментов слева:

3. сразу после генерации анимации:

ElevenLabs - сервис для генерации голоса из текста или другого голоса. 

Дополнительные возможности:

• Клонирование голоса

•  Генерация звуковых эффектов

•  Дубляж/перевод речи в видео

•  Закадровый голос

Бесплатная версия — 10 000 знаков в месяц (около 10 минут речи).Нельзя использовать в коммерческих проектах (только платные тарифы от 5$ в месяц).

Speech — генерация голоса (text to speech) из текста или голоса (speech to speech)

Sound Effects — генерация звуковых эффектов

Voices — выбранные голоса / библиотека голосов

Projects — редактор генерации голоса для больших проектов (по подписке)

Voiceover Studio — редактор добавление голоса и звуковых эффектов видео 

Dubbing — перевод речи на 29 языков, дубляж

Audio Native — автоматическое озвучивание содержимого веб-страницы с помощью преобразования текста в речь

Основное рабочее поле для создания голоса для фильма —  Speech.

Два режима: Simple и Advanced.

Две опции генерации: TEXT TO SPEECH (генерация голоса из текста) или  SPEECH TO SPEECH (генерация голоса из голоса)

Отличие режима ADVANCED — быстрый доступ ко всем предыдущим генерациям.

Вкладка Voices

My voices — сохраненные голоса. В бесплатной версии только 3. Для добавления новых голосов нужно удалить старые.

Library — библиотека голосов. Можно использовать удобный фильтр для поиска.

Генерация речи:

Генерация речи:

• Введите текст или добавьте звуковой файл. 

• Выберете голос (послушать как он звучит можно нажав на значок play рядом с именем).

Генерация речи:

• Измените настройки на предложенные (если предлагают) — Switch. ElevenLabs предлагает оптимальные настройки для выбранного голоса.

• Нажмите Generate speech

Промптинг в ElevenLabs

Как добавить паузу в речи: <break time="1.5s" />

Пример текстового промпта с паузой: "Give me one second to think about it." <break time="1.0s" /> "Yes, that would work."

Альтернативные варианты - тире и точки (могут не всегда работать): "It - is - getting late." "I... yeah, I guess so..."

Как добавить эмоции в речи: писать как в художественной литературе. Пример текстового описания с эмоцией: "Are you sure about that?" he said, confused."Don’t test me!" he shouted angrily.

Подробнее о промптинге

Другие инструменты: 

HeyGen

D-ID

Задание

Что сделать: 

Сделать раскадровку (можно через screenshot free preview в Runway или Midjourney) короткой сцены ниже, смонтировать изображения (не анимацию) в короткий ролик. Выложить в чат.

По желанию после можно анимировать.

Сцена:

Мужчина и женщина едут сквозь горящий город ночью. Дорогу им преграждают проходящие мимо люди, спасающиеся от пожара. Пара видит мародеров, грабящих дома. Мародеры пытаются их остановить. Мужчина и женщина с трудом вырываются/отбиваются от мародеров и едут дальше. Они проезжают мимо горящих складов с взрывчаткой/боеприпасами. Герои выбираются, склады и город горят и взрываются за их спинами.

Burning Tokio by Lev Gorts

Дополнительные материалы

Редактура 

https://www.youtube.com/@LearnHowToEditStuff 

Удаление водяного знака

Free Online Tool to Remove Watermark from Video

Watermark Remover

Видео уроки от Runway:

Runway Academy

Пример таблицы для работы над проектом:

Example. Workflow ai film production

https://pikalabs.org/pika-labs-discord-guide/