Alex Maszański

Kaggle expert⚛️ Пишу материал о различных алгоритмах и техниках в сфере Machine Learning. Применение нейросетей и искусственного интеллекта стали неотъемлемой частью нашей жизни. Обработка видео – одна из сфер, где возможности ИИ используют очень активно. В этом материале мы расскажем о приемах и программах, которые помогают повысить качество видеоконтента.

Как улучшить качество видео c помощью искусственного интеллекта?

Предположим, вы хотите обработать видеозапись. Она многолетней давности, снята на старую видеокамеру и качество изображения оставляет желать лучшего. Или у вас другая задача и вы хотите сделать более четким и детализированным ваше последнее видео, записанное на модный гаджет. И в том, и в другом случае нам поможет искусственный интеллект.

Технология AI (artificial intelligence) нашла применение во многих сферах современной жизни: в медицине, образовании, бизнесе. Даже такая сфера, как искусство использует инструменты ИИ. Картины, созданные с помощью искусственного интеллекта, демонстрируются во многих галереях и музеях мира: от Эрмитажа до Музея Цивилизации в Квебеке.

Точно так же технология нейросетей помогает и в работе с видео. Набор возможностей, которые мы можем использовать, огромен. Например, можно улучшить видео до 4К Ultra HD из первоначального 480p. Или из фильма 1895 года сделать настолько качественную картинку, что зрители примут это за современный киношедевр, снятый в Голливуде. Кроме того, AI позволяет исправить мелкие недочеты в видео, такие как затемнения и расплывчатость объектов.

Как это работает?

При работе с проектами, которые связаны с изображениями и видео, мы будем использовать сверточные нейронные сети. Данная технология позволяет уменьшить количество информации, которая хранится внутри памяти. Кроме того, она запускает процесс поиска опорных признаков (видео) изображения, таких как ребра, контуры и углы. Эти признаки распознают фильтры, на основе которых работают сверточные нейронные сети, благодаря которым они лучше справляются с картинками высокого разрешения. Таким образом, именно эта технология является главной «под капотом» любого инструмента по улучшению видео искусственным интеллектом.

В теории, обработку видео можно представить как последовательность операций, которые выполняются для каждого кадра.

Процесс включает:

• Декодирование – преобразование видеокадра из сжатого формата в исходный.
• Вычисление – определенная операция, которую мы должны проделать с кадром.
• Кодирование – преобразование обработанного кадра обратно в сжатое состояние.

Это определенный порядок действий. Несмотря на то что такой подход выглядит простым и легко реализуемым, он является ресурсоемким и сложным в осуществлении. Упростить задачу нам помогут уже созданные специальные сервисы на основе предобученных нейросетей. Кодить ничего не потребуется.

Как повысить качество видео за счет разрешения?

Для того, чтобы преобразовать видео с низким разрешением в более высокое нужно использовать апскейлинг. Это процесс повышения качества видео за счет разрешения. Необходимо учитывать, что, используя способ «растяжения» картинки низкого разрешения на больший экран, можно столкнуться с ухудшением качества и потерей деталей.

Например, при увеличении HD изображения до UHD (4K), необходимо чем-то заполнить дополнительные 6 миллионов пикселей. Задача апскейла определить, что будет показывать каждый из 6 млн новых пикселей на основе того, что отображают соседние фрагменты. Этот процесс называется интерполяцией и чем-то напоминает технику KNN (K-nearest neighbours, метод ближайших соседей) в машинном обучении.

Если говорить подробнее, интерполяция – это программный метод, который меняет разрешение видео при помощи добавления новых пикселей в кадр. Говоря другими словами, для увеличения разрешения картинки в 5 раз необходимо поставить рядом ещё 4 пикселя программным методом. Такой способ требует определенных вычислительных ресурсов, впрочем, как и все, что связано с нейросетями. Однако, несмотря на это, данный метод решает нашу задачу.

Обработка видео нейросетью. Краткий обзор программ

Как мы писали выше, для того, чтобы решить проблему качества изображения, необходимо использовать метод интерполяции. Тем не менее мы понимаем, что добавление новых пикселей вокруг существующего невозможно вручную. Потому что видео состоит из множества кадров, каждый из которых нам придется обработать, а такая задача физически невыполнима.

К счастью, алгоритмы искусственного интеллекта дают возможность улучшить качество видеоматериалов автоматически. Это их отличие от классических инструментов повышения качества, которые не основаны на AI (artificial intelligence). Для использования программ с искусственным интеллектом нам не нужны супернавыки программирования.

Далее приведем характеристики некоторых инструментов, которые помогут в редактировании видео и изображений. Примеры отсортированы от простого к сложному.

Waifu2x

С Waifu2x сможет работать даже новичок. Это онлайн-сервис, который предназначен для изображений в стиле аниме и артов. Однако, есть десктопная сборка с GitHub, которая также работает с видео. Waifu2x ликвидирует шум и увеличивает разрешение картинки вдвое без потери качества. У программы также есть функционал для наведения резкости.

На Waifu2x оказала влияние сверточная нейронная сеть Super-Resolution. Она использует Nvidia CUDA для вычислений.

Плюсы:

• Бесплатная.
• Самая простая в использовании прямо из «коробки».
• Удобный интерфейс на многих языках.

Минусы:

• Не предоставляет широкий функционал, в отличие от других программ.
• Программа специализируется на изображениях в стиле аниме и арт, поэтому вы не получите суперрезультатов на обычной картинке.

Wisecut

Wisecut – уникальный инструмент редактирования, который использует искусственный интеллект и распознавание голоса для редактирования видео. Экономит ваше время, повышает точность и эффективность редактирования. Автоматически создает вырезки, субтитры, фоновую музыку и многое другое. Видеомонтаж на основе раскадровки позволяет вносить правки, делая изменения во входном тексте. Инструмент автоматического приглушения звука понижает и повышает голос в соответствии со сценами и фоновой музыкой, создавая гармонию. Использование Wisecut прекрасно подойдет создателям видеоблогов, онлайн-уроков и производителям музыкального видеоконтента.

Плюсы:

• Редактирование видео с голосом и текстом.
• Автоматическое создание переходов, субтитров, фоновой музыки.
• Автоматическое приглушение звука.

Минусы:

• Высокая стоимость платной версии.
• Бесплатная версия, в свою очередь, ограничена в функционале.

Цена: 57$/месяц (есть бесплатная версия)

Pixop

Pixop – понятное и доступное веб-приложение для профессионалов и создателей видеоконтента. Оно позволяет повысить разрешение видео до UHD 8K и улучшить качество отснятого материала при помощи автоматических фильтров искусственного интеллекта.

Для работы с приложением нет необходимости использовать дорогостоящее оборудование. Кроме того, вам не нужно никаких специальных знаний, чтобы начать работать. Все, что необходимо – это браузер и подключение к Интернету.

Плюсы:

• Широкий функционал, большое количество автоматических фильтров: суперразрешение, шумоподавление, деинтерлейсинг, устранение дрожания и глубокое восстановление.
• Отсутствие необходимости в дорогом оборудовании.

Минусы:

• Ценообразование, которое построено на отсутствии абонентской платы. С одной стороны, это кажется выгодным, потому что вы платите только за то, что используете. Но с другой – схема и расчет оплаты могут быть непонятны пользователю.

Заключение

Итак, мы рассмотрели вопрос улучшения видео при помощи нейросетей.

Узнали, как улучшить качество видео с помощью искусственного интеллекта, обозначили, какая технология стоит за данным способом редактирования. Мы представили вам несколько популярных программ по обработке видео. Рассказали об их функционале, способе работы и особенностях.

Однако, это лишь малая часть тех возможностей, которые предоставляют нам современные нейросети. AI – это целый мир, который создан, чтобы помочь человеку в самых разных областях жизни, работы и творчества.

***

Материалы по теме

• Просто добавь нейросеть: 7 исторических фильмов в 4K и 60 FPS
• Пишем свою нейросеть: пошаговое руководство
• 🎥 Как искусственный интеллект меняет киноиндустрию