Нейросети для создания видео: 7 инструментов и что они могут

Создание картинок с нейросетью не попробовал уже только ленивый. А что там с генерацией видео? Всё тихо. Мы протестировали семь инструментов и узнали, что о них думают эксперты.

Для теста мы подобрали максимально разные нейросети:

• Kandinsky Video — генерация по промптам на русском языке

• Шедеврум — генерация в приложении

• Runway ML Gen-2 — генерация видео с заменой лица

• Genmo — генерация видео высокого качества

• Luma — генерация реалистичных видео

• Synthesia — генерация видео с озвучкой

• Topaz Video Enhance AI — улучшение качества готовых видео

Чем всё это полезно digital-специалистам

Но для начала проговорим, как мы написали промпт для создания видео с нейросетью.

Как создавать запросы для генерации видео нейросетью

Чтобы результат был объективным, для всех нейросетей, которые генерируют видео по тексту, мы использовали один и тот же промпт. Чтобы его создать, можно опираться на проверенные специалистами схемы.

Мы, как правило, создаем промпт по следующей схеме:

1. Цель видео.

2. Описание ключевых сцен.

3. Детальное описание каждой сцены с добавлением тех визуальных и звуковых эффектов, которые нам нужны.

4. Описание финальной сцены и общего впечатления от видео.

При создании промптов для нейросети, генерирующей видео, я использую такую схему:

Объект (прикрепленная фотография) + описание действий или событий + местоположение или фон + эмоции/настроение героя или ролика + дополнительные детали (одежда, элементы и т. д.).

Мы использовали последний пример, чтобы создать промпт, который будем отправлять всем нейросетям для генерации видео. Получилось так:

Вариант на русском языке: Серая собака + стоит на берегу озера + лето, солнце, зеленая трава + игривая летняя атмосфера + собака наслаждается ветром, зевает, шерсть развевается.

Вариант на английском языке: Gray dog ​​+ stands on the shore of the lake + summer, sun, green grass + playful summer atmosphere + dog enjoys the wind, yawns, fur develops.

Ну, и фото собаки в качестве референса.

Теперь — к генерации.

Kandinsky Video

Kandinsky Video — бесплатная нейросеть для генерации видео от Сбера.

Сколько стоит: бесплатно.

Водяные знаки: нет.

Генерация по промптам на русском языке: да.

Генерация по тексту: да.

Генерация по фото: да.

Длительность роликов: до 16 секунд.

Форматы: видео (модель генерирует цельное видео), анимация (последовательность картинок, объединенных в видео).

Озвучка: нет.

Возможность улучшения качества другого видео: нет.

Результат: криповый)))

Мы сделали видео двумя способами: и без фото, и по фото. В обоих случаях нейросеть сделала именно то, что мы у нее просили, но с эффектом зловещей долины — на первом видео у собаки задвоился язык, на втором она поменяла за несколько секунд 3 породы. Да и вообще картинка поехала.

Оценка специалистов: неудовлетворительная генерация видео нейросетью.

Нейросеть Kandinsky генерирует отличные изображение и ужасные видео. Сколько бы я ни пытался, но так ничего стоящего у меня не получилось создать. Не рекомендую.

Шедеврум

Шедеврум — это мобильное приложение от Яндекса. Это тоже ИИ для создания видео.

Сколько стоит: бесплатно.

Водяные знаки в сгенерированном нейросетью видео: нет.

Нейросеть генерирует видео по промптам на русском языке: да.

Длительность роликов: зависит от промпта.

Генерация по тексту: да.

Генерация по фото: нет.

Возможность монтажа видео: нет.

Эффекты: зум, таймлапс, отдаление, панорама, подъем, морфинг, вращение, ручной и т. д.

Накладывает ли нейросеть голос на видео: нет.

Может ли нейросеть улучшить качество другого видео: нет.

Результат: мы получили не видео.

Нейросеть пошла по промпту и сделала практически всё, что мы просили. Основной минус: результат, конечно, нельзя назвать видеозаписью. Скорее это анимированное изображение, гифка.

Runway ML Gen-2

Gen-2 — это генератор видео от компании Runway AI с широкими дополнительными возможностями.

Бесплатная версия: есть, можно генерировать 25 бесплатных секунд в месяц.

Платная версия: от $12 до $125 в месяц.

Водяные знаки: нет, есть ненавязчивое лого.

Генерация по промптам на русском языке: нет.

Генерация по тексту: да.

Нейросеть может сделать видео из фото: да.

Эффекты: зум, вращение, панорама, наклон.

Стили: несколько десятков, среди них — аниме, архитектура, кинематограф, лес, макро и др.

Озвучка: нет.

Возможность улучшения качества другого видео: нет.

Возможность замены лица: да.

Результат: сомнительный.

Это первая нейросеть, которая не следовала промпту: на видео вместо одной собаки оказались две. К тому же одна из них отображалась некорректно — картинка поплыла.

Что касается генерации по фото, то тут снова эффект зловещей долины: собака с пустыми глазницами и расплывающейся мордой. Бррр.

Оценка качества видео, созданного с помощью нейросети: неоднозначна.

Эта нейросеть появилась относительно давно и сходу привлекла к себе внимание многих. Но даже спустя годы я бы не стал рекомендовать ее. Главная причина — неестественность видео. Разумеется, никакие нейросети всё еще не способны создавать ролики, неотличимые от реальной съемки. Но в Runway ML Gen-2 объекты получаются жуткими: не только руки у людей, к чему мы привыкли, но и в целом весь видеоряд переливается из одного в другой. В общем, рекомендую пробовать только для тестирования или развлечения.

Мы постоянно работаем с Runway ML Gen-2. Под наши задачи нейросеть подходит больше других. Нам нужно создавать динамичные красивые ролики, быстро их редактировать, пробовать новые идеи + чтобы всё было очень качественным. Gen-2 дает нам это. Из плюсов:

1. Простота в использовании — с нейросетью можно работать полностью онлайн на платформе.

2. Дополнительные возможности:

   1. цветокоррекция видео;

   2. удаление и добавление объектов (например, в этой нейросети доступна замена лица на видео);

   3. VFX;

   4. карта глубины;

   5. инструменты для ротоскопирования и композитинга;

   6. «зеленый фон», или, точнее, возможность удалять фон с любого ролика за один клик.

3. Бесплатная версия.

Есть, конечно, и минусы. Чтобы получить доступ ко всем инструментам, нужна подписка. А возможности для настройки параметров ограничены. Да, это не After Effects, но всё равно удобно.

Genmo

Genmo — нейросеть для генерации видео высокого качества в онлайн-режиме.

Бесплатная версия: есть, можно создать до 100 видео в день длительностью до шести секунд.

Платная версия: $10 в месяц, можно создавать до 1000 видео в день.

Водяные знаки: есть, без них экспортировать видео можно в платной версии.

Генерация по промпт на русском языке: работает.

Генерация по тексту: да.

Генерация по фото: да.

Эффекты: зум, вращение, панорама, наклон.

Дополнительные эффекты: есть.

Озвучка: нет.

Возможность улучшения качества другого видео: нет.

Результат: хороший.

В этом случае мы снова получили то, что просили. И снова ролик можно скорее назвать анимацией, чем видеозаписью. Но зато в высоком качестве.

Оценка экспертов: подойдет для анимирования изображений.

Нейросеть отлично подойдет для простой генерации. Если вам нужно только анимировать движения, это идеальный выбор. По сравнению с Runway ML Gen-2, Genmo выдает результат намного лучше. Артефактов намного меньше, а движения более плавные. Рекомендую.

Luma

Luma AI — нейросеть для создания реалистичных видео и 3D-моделей.

Бесплатная версия: есть, до пяти генераций в день.

Платная версия: $14 хватит на генерацию 120 пятисекундных роликов. Есть и другие тарифы.

Водяные знаки: да.

Генерация по промптам на русском языке: нет.

Генерация по тексту: да.

Генерация по фото: да.

Длительность роликов: до 20 секунд.

Озвучка: нет.

Возможность улучшения качества другого видео: нет.

Результат: достойный.

При генерации по тексту нейросеть учла все требования — в конце концов собака на видео действительно начала двигаться. Реалистично? Максимально — во всяком случае из того, что мы уже видели.

Результат генерации по фото ожиданий не оправдал. Нейросеть впервые запросила два референса для первого и второго кадров. Собаку она практически не анимировала, зато изменила человека на заднем плане и стерла ему лицо.

Оценка экспертов: подойдет для анимации изображений и генерации перебивок для основного контента.

Luma AI превращает изображения в очень реалистичные ролики, которые действительно подходят для множества задач. Например, для создания:

• креативной рекламы;

• современных арт-объектов и инсталляций;

• элементов для артхаусного кинематографа;

• анимации и роликов для социальных сетей с необычным сюжетом.

Нейросеть может изобразить то, что сложно снять физически. Например, виды горных хребтов в Гималаях, атмосферу туманного утра в Шотландии. Прекрасно Luma AI воспроизводит инопланетян и фантастических животных.

Есть у нее и свои минусы:

1. Принцип работы. Видео генерируется длительностью 5 секунд, после чего можно попросить нейросеть добавить еще 5 секунд. Максимально вы сможете дойти до 20 секунд. Но при такой работе нейросеть быстро теряет цельность и логику сюжета. Получить конкретный результат очень сложно. С другой стороны, Luma AI предоставляет огромное поле для творческих экспериментов.

2. Плохое воспроизведение действий, связанных с мелкой моторикой. Что, в принципе, часто бывает с машинным обучением. Например, сложно будет получить видеоряд, где человек умывается или застегивает пуговицы на рубашке. Пальцы могут в прямом смысле отделиться от ладоней и остаться на одежде.

При использовании Luma AI мы рекомендуем описывать сюжет и желаемый стиль видеоряда. Сейчас лучшие результаты получаются из красивых атмосферных фотографий и простого промпта: movie, cinema shoot. Для усиления результата можно использовать и изображения других нейросетей, например, Midjourney.

Luma может создать 3D-модель, а может — полноценное видео на основе изображения и текста. Из всех нейросетей, которые я тестировал, Luma мне нравится больше всего. Она дает по-настоящему хороший результат. Именно этот сервис я использую для работы, так как мне нужно анимировать объекты. И Luma делает это лучше конкурентов.

Synthesia

Synthesia — нейросеть для генерации видео в стиле «говорящей головы». В роликах спикер, созданный нейросетью, произносит текст, который вы задаете.

Бесплатная версия: есть, в ней доступна генерация трех минут видео в месяц + шесть стандартных аватаров и набор голосов AI на 130+ языках.

Платная версия: от €20 в месяц.

Водяные знаки: да.

Генерация по тексту: да.

Генерация по фото: нет.

Озвучка на русском языке: да, но с акцентом.

Возможность улучшения качества другого видео: нет.

Результат: забавно.

Сгенерированный персонаж даже не выглядит картонно, но говорит с акцентом. Из минусов — в пробной версии видео нельзя скачать. Оно доступно только по ссылке.

Оценка специалистов: подойдет для бизнеса, который создает образовательный контент.

Synthesia — это нейросеть не столько для редактирования, сколько для создания роликов, где на экране присутствует автор. В общем, подойдет для создания лекций, презентаций. Она известна в первую очередь тем, что легко преобразует текстовые промпты в видео и сама озвучивает ролики. Здесь можно сделать аватар, обучить его под себя и использовать затем в создании видео.

Также мне нравится, что в этой нейросети есть встроенный редактор сценариев AI Script Assistant, который работает аналогично с текстовыми ИИ и всегда может дать подсказку.

Topaz Video Enhance AI

Topaz Video Enhance AI — это нейросеть для улучшения качества видео.

Бесплатная версия: есть, условия использования не уточняются.

Платная версия: $299.

Настройки: Upscale, Noise, Grain и другие.

Оценка экспертов: рабочий инструмент для улучшения видео.

В своей работе я постоянно использую нейросети для улучшения качества видео. Topaz Video Enhance AI — мой фаворит. У нейросети множество полезных настроек. Например, Upscale для увеличения разрешения видео, Noise или Grain — для улучшения резкости.

Topaz умеет улучшать качество видео, делает из размытой картинки четкую, применяет шумоподавление. Его можно использовать не только для реалистичных видео, но и для мультипликации или CG-контента. А еще эта нейросеть умеет сглаживать так называемые чересстрочные кадры (деинтерлейсинг), из-за этого ролик становится более плавным, выглядит профессионально.

Чем всё это полезно digital-специалистам

Тем же, чем и другие нейросети — вы автоматизируете процесс создания видео, экономите на привлечении дизайнеров или, как минимум, грамотно используете их ресурс: рутина отдается ИИ, а более креативные задачи — людям.

Но ведь ни один из результатов генерации не оказался идеальным