Share This
Связаться со мной
Крути в низ
Categories
//Нейросеть обучили строить план помещения по короткому видео

Нейросеть обучили строить план помещения по короткому видео

09.01.2021Category : My Habr

nejroset obuchili stroit plan pomeshhenija po korotkomu video 30c0a00 - Нейросеть обучили строить план помещения по короткому видео

Исследователи из Facebook, Техасского университета в Остине и Университета Карнеги-Меллона разработали нейросеть, которая использует визуальные и звуковые эффекты из короткого видеоклипа для восстановления плана целого этажа. Ее можно будет применять для визуализации пространств, планирования маршрутов и разработки архитектурных проектов.

Обычно создание планов этажей требует полного пошагового руководства, чтобы 3D-датчики и камеры могли запечатлеть все пространство. Однако в новой системе нейросеть обрабатывает пространственные и семантические сигналы.

Как отмечают авторы разработки, звук по своей природе определяется геометрией объектов. Отражения звука раскрывают форму комнаты далеко за пределами поля зрения камеры.

Подход исследователей, который они назвали AV-Map, направлен на преобразование коротких видеороликов с многоканальным звуком в двухмерные планы этажей. Модель машинного обучения использует последовательности аудио- и визуальных данных, чтобы понять структуру и семантику плана этажа, объединяя информацию из аудио и видео с помощью компонента декодера. Планы этажей, генерируемые AV-Map, показывают свободное пространство и области, поделенные дискретным набором семантических меток комнат (например, гостиная и кухня).

nejroset obuchili stroit plan pomeshhenija po korotkomu video 97d0cb6 - Нейросеть обучили строить план помещения по короткому видео

Команда экспериментировала с популярными наборами данных Matternet3D и SoundSpaces, загруженных в пакет AI Habitat от Facebook. В первом они использовали виртуальную камеру, чтобы зафиксировать известный звук, пока он перемещался по комнате. Во втором они полагались только на естественные звуки, издаваемые предметами и людьми внутри дома.

Исследователи говорят, что в видеороликах, записанных в 85 больших реальных многокомнатных средах AI Habitat, AV-Map превзошел традиционное картографирование. С помощью звуков, охватывающих 26% площади, нейросеть может оценить всю площадь с точностью 66%.

Теперь авторы разработки планируют изучить возможности расширения планов на несколько этажей.

  • 1 views
  • 0 Comment

Leave a Reply

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

Свежие комментарии

    Рубрики

    About Author 01.

    Roman Spiridonov
    Roman Spiridonov

    Привет ! Мне 38 лет, я работаю в области информационных технологий более 4 лет. Тут собрано самое интересное.

    Our Instagram 04.

    Categories 05.

    © Speccy 2020 / All rights reserved

    Связаться со мной
    Close