Share This
Связаться со мной
Крути в низ
Categories
//Система генерирует слова песни по музыке в реальном времени

Система генерирует слова песни по музыке в реальном времени

29.06.2021Category : My Habr

sistema generiruet slova pesni po muzyke v realnom vremeni d6e6973 - Система генерирует слова песни по музыке в реальном времени

Скриншот LyricJam

Исследователи из Университета Ватерлоо разработали LyricJam, вычислительную систему, которая генерирует тексты для музыки в реальном времени. Эта система поможет артистам сочинять новые тексты, хорошо сочетающиеся с музыкой, которую они создают.

Ольга Вечтомова и ее коллеги уже несколько лет разрабатывают генераторы текстов. Ранее они создали технологию, которая изучает определенные особенности лирического стиля артиста, анализируя аудиозаписи песен и тексты, и использует собранную информацию для создания лирики, соответствующей стилю конкретного исполнителя. Совсем недавно исследователи начали разрабатывать генератор текстов для заранее записанных музыкальных отрывков. В своей новой работе они попытались сделать шаг вперед, создав систему, которая может генерировать подходящие тексты для музыки, исполняемой вживую.

Система работает, преобразуя аудио в спектрограммы, после чего модель глубокого обучения генерирует тексты, соответствующие музыке. Архитектура модели состоит из двух автокодировщиков, один из которых предназначен для изучения музыки, а другой — для изучения текстов. Вечтомова и ее коллеги разработали два новых механизма, которые согласовывают музыку и тексты, обрабатываемые двумя автокодиовщиками, и помогают системе определить, какие типы текстов подходят для конкретной  музыки.

sistema generiruet slova pesni po muzyke v realnom vremeni cdef8ba - Система генерирует слова песни по музыке в реальном времени

Основная характеристика, которая отличает LyricJam от других генераторов текстов,  заключается в том, что он может создавать лирику в реальном времени, пока исполнитель играет живую музыку. Система генерирует тексты, «отражающие настроение и эмоции, которые передаются через различные аспекты музыки, такие как аккорды, инструменты, темп», поясняет Вечтомова. Затем артисты смогут просматривать сгенерированные тексты и черпать из них вдохновение или адаптировать их, находя новые темы и лирические идеи, которые они раньше не рассматривали.

  • 5 views
  • 0 Comment

Leave a Reply

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

Связаться со мной
Close