Share This
Связаться со мной
Крути в низ
Categories
//Система генерирует слова песни по музыке в реальном времени

Система генерирует слова песни по музыке в реальном времени

29.06.2021Category : My Habr

sistema generiruet slova pesni po muzyke v realnom vremeni d6e6973 - Система генерирует слова песни по музыке в реальном времени

Скриншот LyricJam

Исследователи из Университета Ватерлоо разработали LyricJam, вычислительную систему, которая генерирует тексты для музыки в реальном времени. Эта система поможет артистам сочинять новые тексты, хорошо сочетающиеся с музыкой, которую они создают.

Ольга Вечтомова и ее коллеги уже несколько лет разрабатывают генераторы текстов. Ранее они создали технологию, которая изучает определенные особенности лирического стиля артиста, анализируя аудиозаписи песен и тексты, и использует собранную информацию для создания лирики, соответствующей стилю конкретного исполнителя. Совсем недавно исследователи начали разрабатывать генератор текстов для заранее записанных музыкальных отрывков. В своей новой работе они попытались сделать шаг вперед, создав систему, которая может генерировать подходящие тексты для музыки, исполняемой вживую.

Система работает, преобразуя аудио в спектрограммы, после чего модель глубокого обучения генерирует тексты, соответствующие музыке. Архитектура модели состоит из двух автокодировщиков, один из которых предназначен для изучения музыки, а другой — для изучения текстов. Вечтомова и ее коллеги разработали два новых механизма, которые согласовывают музыку и тексты, обрабатываемые двумя автокодиовщиками, и помогают системе определить, какие типы текстов подходят для конкретной  музыки.

sistema generiruet slova pesni po muzyke v realnom vremeni cdef8ba - Система генерирует слова песни по музыке в реальном времени

Основная характеристика, которая отличает LyricJam от других генераторов текстов,  заключается в том, что он может создавать лирику в реальном времени, пока исполнитель играет живую музыку. Система генерирует тексты, «отражающие настроение и эмоции, которые передаются через различные аспекты музыки, такие как аккорды, инструменты, темп», поясняет Вечтомова. Затем артисты смогут просматривать сгенерированные тексты и черпать из них вдохновение или адаптировать их, находя новые темы и лирические идеи, которые они раньше не рассматривали.

  • 4 views
  • 0 Comment

Leave a Reply

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

Свежие комментарии

    Рубрики

    About Author 01.

    blank
    Roman Spiridonov

    Моя специальность - Back-end Developer, Software Engineer Python. Мне 39 лет, я работаю в области информационных технологий более 5 лет. Опыт программирования на Python более 3 лет. На Django более 2 лет.

    Categories 05.

    © Speccy 2022 / All rights reserved

    Связаться со мной
    Close