Звуковой дизайн — это процесс создания звукового сопровождения для различных медиа-продуктов, включая фильмы, телепередачи, театральные постановки и видеоигры. Звуковой дизайн включает в себя запись/создание/нахождение необходимых звуков и музыки, монтаж и обработку.

Звук в кино играет ключевую роль в создании эмоционального отклика у зрителей. Правильно подобранные звуковые эффекты могут:

• Создать атмосферу: Фоновые шумы и музыка помогают зрителям погрузиться в мир фильма.

• Усиливать эмоции: Звуковые эффекты, такие как звуки шагов, крики и взрывы, делают сцены более реальными и эмоциональными.

• Поддерживать повествование: Звуковые эффекты могут подсказывать зрителю важные детали сюжета или намекать на будущие события.

Предагаем начать с просмотра видео с отличный звуковым дизайном.

Виды звуковых эффектов

Фоли. Звуковые эффекты, создаваемые вручную, например, шаги, шорохи, удары. Вам наверняка попадались подобные видео: https://www.youtube.com/watch?v=8WPv6KWakC4

Амбиенс. Фоновый шум, который создает атмосферу места действия, например, звуки природы, городские шумы, а также звуки комнаты или лифта.

Эффекты переходов. Это звуки, которые помогают плавно переходить от одной сцены к другой, например, звуковые мосты или шумы.

Библиотеки с звуковыми эффектами и АИ для шумов и музыки

https://www.epidemicsound.com — стоковые звуки и музыка

https://artlist.io/ — стоковые звуки и музыка

https://huggingface.co/spaces/declare-lab/tango2 — propmt2audio

https://www.kits.ai/ — звуки и музыка

https://audiobox.metademolab.com/?utm_source=twitter&utm_medium=organic_social&utm_campaign=fair10&utm_content=video — звуки

https://yusiissy.github.io/SonicVisionLM.github.io/ — AI шумы под видео.

https://elevenlabs.io/app/sound-effects — создание звуковых эффектов по промпту.

https://stability.ai/stable-audio — создание звуковых эффектов и музыки по промпту.

Саундтрек

Виды музыки в фильме

Оригинальный саундтрек (OST)

Композиции, специально написанные для конкретного фильма. Эти треки создают уникальное звуковое сопровождение, которое идеально соответствует настроению и тематике фильма. Например, музыка Джона Уильямса для "Звёздных войн" или Ханса Циммера для "Интерстеллара".

Нон-дигетическая музыка

Музыка, которая не является частью мира фильма и не слышна персонажам. Она используется для усиления эмоционального эффекта и создания настроения у зрителей.

Диагетическая музыка

Музыка, которая является частью мира фильма и слышна персонажам. Например, песня, играющая по радио в машине персонажа, или живая музыка на вечеринке.

Лейтмотивы

Повторяющиеся музыкальные темы или мотивы, ассоциированные с определенными персонажами, местами или идеями. Например, музыкальная тема Дарта Вейдера в "Звездных войнах" (Imperial March) или тема Бонда в фильмах о Джеймсе Бонде.

Общие рекомендации по созданию музыкального трека с помощью нейросетей

• Определитесь нужны ли слова или это инструментальная композиция.

• Определитесь важны ли слова, если они нужны.

• Если слова важны, создайте их отдельно (например, в Chat GPT есть разные GPT’s для написания текстов). Редактировать слова отдельно до создания трека гораздо удобнее.

• Если слова не важны, можно использовать встроенный генератор слов для композиции.

• Определитесь с нужным настроением музыки.

• Не бойтесь экспериментировать и соединять несколько стилей.

• Не бойтесь добавлять в промпт описание настроения музыки и пр.

• Больший вес у начала промпта.

Генераторы музыки SUNO & UDIO

SUNO

• 50 кредитов обновляются ежедневно (10 песен) на бесплатном тарифе

• некоммерческие условия на бесплатном тарифе

• возможность генерировать текст песни

• возможность генерировать музыку без слов

• возможность генерировать по аудио промпту (только на платном тарифе)

После регистрации можно делать тонкие настройки (Custom):

• выбрать модель

• задать текст песни (Lyrics) / выбрать генерацию текста (рандомную или задать промптом)

• выбрать генерацию музыки без текста (Instrumental)

• задать или выбрать стиль музыки (Style of Music)

• задать название музыки

• возможность продлевать (Extend) сгенерированный фрагмент

• возможность продлевать (Extend) с определенной секунды/минуты (по умолчанию продляется с конца фрагмента)

Пример промтпа для Suno: post punk 80s synthwave psychedelic depressive electronic

Пример трека по этому промпту.

UDIO

• Пример промтпа 10 кредитов обновляются ежедневно (дополнительно 100 кредитов в месяц) на бесплатном тарифе

• некоммерческие условия на бесплатном тарифе

• возможность генерировать текст песни

• возможность генерировать музыку без слов

• возможность генерировать по аудио промпту (только на платном тарифе)

• возможность настраивать силу промпта, текста, использовать определенный seed

• возможность продлевать сгенерированный фрагмент (добавлять intro, autro)

• возможность выбирать начало фрагмента для генерации относительно всей композиции

• возможность выбирать качество

• возможность внесения изменений в уже сгенерированный фрагмент (Inpaint на платном тарифе)

Пример промтпа для Udio:

modern dark electronic soul mourn song about love and illusions, electronic love song, deep male vocal

Пример трека по этому промпту.

Генераторы видео HAIPER & Luma

HAIPER

• анимация text2video, image 2video

• длительность видео 4 секунды

• 10 генераций в день на бесплатном тарифе

• возможность коммерческого использования только на платном тарифе

• возможность редактировать (генерировать/inpaint) видеофрагменты

Luma

‍

• анимация text2video, image2video

• очень медленные генерации (около 10 минут) на бесплатном тарифе / приоритетные генерации на платных тарифах

• 30 генераций в месяц на бесплатном тарифе

• практически нет контроля

• возможность коммерческого использования только на платном тарифе

• возможность убрать водяной знак только на платном тарифе

• есть возможность продлить сгенерированное видео

Text2Video

Добавляйте описание атмосферы! Пример: «A young woman sitting on a bench in a quiet park, twilight sky tinged with orange and purple hues, melancholic mood, light drizzle, video shot with an old film camera, intricate details».

Ограничения

• Плавает в стилях. Например, не понимает Пиксар, но понимает аниме.

• Имена реальных людей.

• Насилие.

Image2Video

• Лучше всего работает средний/крупный план людей.

• Во второй половине видео обычно много морфинга.

• Нет возможности контролировать интенсивность движения.

• Неплохо анимирует реальные фото.

• Понимает действия для героев, но не всегда хорошо делает.

Движение камеры

Enhance prompt — непредсказуемые движения. Для лучшего контроля рекомендуют убрать галочку.

Какие движения камеры тестировали:

Zoom in/Zoom out — (лучше работает -Camera pullback) — хорошо работает

Rotate the camera — не всегда понимает направление понимает , но вращает камеру

Panoramic camera shots — неплохо работает

Camera tracks a subject walking forwards (follow the …./ tracking shot of the … walking) — хорошо следует за объектом

Shaking camera — иногда работает, интересный результат

Timelapse — неплохо работает на общих кадрах (город, например)

Многие сейчас спорят о том, насколько большим должен быть промпт. Разные люди добивались хороших результатов как с короткими, так и с подробными промптами. К сожалению, единого правильного решения нет. Мы рекомендуем начинать с короткого и усложнять по необходимости.

Лайфхак: Можно сделать вертикальную картинку и панорамировать в монтаже, а также использовать последний кадр генерации для продления видео.

UPSCALE / Улучшение качества

Magnific

Topaz

Krea

Коллекция апскейлеров под конкретные задачи на Gradio

Другие сервисы для работы со звуком

AIVA

HAIPER DISCORD

Задание

Что сделать:

Создать музыкальный клип (от 30 секунд до 1 минуты)

Шаг 1: Создайте музыкальный трек в одной из нейросетей. (Если вам совсем не нравится то, что получилось, можно взять любой понравившийся готовый трек.)

Шаг 2: Скопируйте ссылку на трек и вставьте ее сюда — https://noisee.ai/create

Шаг 3: Напишите промпт клипа, который хотите получить и наслаждайтесь результатом.

Работы студентов живого курса:

Chasing Shadows

Behind the Painted Smile

Feel the Night

Unicorn Dreams

← Все модули курса

Следующий модуль →

Пражская медиашкола

Основы звукового дизайна

В этом модуле:

Звук и музыка