Яндекс объявил о работе над сервисом машинного перевода видео с одного языка на другой. Это позволит пользователям смотреть ролики в браузере с закадровым переводом. Прототип сервиса уже представлен, пока он переводит видео только с английского языка.

Как объяснили в компании, ее технология объединяет разработки «Яндекс.Переводчика», биометрии, распознавания и синтеза речи. Сервис машинного перевода сначала определяет пол говорящего, а затем подбирает соответствующий голос. Алгоритм отслеживает темп речи говорящего, за счет чего переводчик делает паузы, замедляет или ускоряет речь, чтобы закадровый голос совпадал с картинкой.

Перевод доступен в Яндекс.Браузере для Windows и macOS. Разработчики обещают, что скоро пользователи смогут выбирать, какие ролики переводить с помощью нового сервиса.

«В интернете очень много полезного контента, который недоступен людям из-за языкового барьера. И мы близки к тому, чтобы окончательно стереть все границы. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше», — говорит руководитель направления обработки естественного языка в «Яндексе» Дэвид Талбот.

В 2017 году Яндекс начал задействовать технологии на искусственном интеллекте при переводе текстов. Тогда к статистической модели, которая была в «Переводчике» с момента запуска, добавили технологию перевода с помощью нейросети. Компания объясняла, что ее технология не разбивает текст на отдельные слова, а рассматривает его целиком, чтобы лучше передать смысл.

В июне Яндекс открыл доступ к нейросети «Балабоба» для всех пользователей. Она работает на языковой модели из семейства YaLM (Yet another Language Model). Эта модель помогает нейросети запоминать правила языка, выбирать подходящие слова и связывать их по смыслу. У «Балабобы» нет своего мнения, она выдает случайные продолжения и может закончить историю, придумать подпись или написать небольшой рассказ.