Share This
Связаться со мной
Крути в низ
Categories
//Новый ML-алгоритм работает до 15 раз быстрее на центральном процессоре, чем на видеоускорителе

Новый ML-алгоритм работает до 15 раз быстрее на центральном процессоре, чем на видеоускорителе

10.04.2021Category : My Habr

Ученые из Университета Райса продемонстрировали программное обеспечение, которое работает на обычных процессорах и обучает глубокие нейронные сети в 15 раз быстрее, чем платформы на основе графических процессоров.

novyj ml algoritm rabotaet do 15 raz bystree na centralnom processore chem na videouskoritele ee44cb8 - Новый ML-алгоритм работает до 15 раз быстрее на центральном процессоре, чем на видеоускорителе

Автор разработки, доцент кафедры информатики в инженерной школе Райс Аншумали Шривастава

По словам исследователей, стоимость обучения нейросетей остается серьезным препятствием в развитии технологии, а компании тратят миллионы долларов в неделю на настройку рабочих нагрузок на ИИ.

Обучение глубоких нейросетей обычно представляет собой серию операций умножения матриц. Подобного рода рабочие нагрузки идеальны для графических процессоров, но последние стоят примерно в три раза больше, чем центральные процессоры общего назначения.

По словам разработчиков, сейчас отрасль сосредоточена на ускорении матричного умножения, однако они решили поработать с самим алгоритмом.

Исследователи преобразовали обучение глубоких нейросетей в поисковую задачу, которую можно решить с помощью хеш-таблиц. Их «сублинейный механизм глубокого обучения» (SLIDE) специально разработан для работы на стандартных процессорах. Как утверждают разработчики, он может превзойти обучение на основе графического процессора в 4-15 раз по скорости.

Так, обучение с использованием SLIDE на 44-ядерном ЦП оказалось более чем в 3,5 раза (1 час против 3,5 часов) быстрее, чем обучение с использованием Tensorflow на Tesla V100 при любом заданном уровне точности. На том же аппаратном обеспечении ЦП SLIDE работает более чем в 10 раз быстрее, чем Tensorflow.

В настоящее время исследователи работают над тем, чтобы улучшить производительность SLIDE с помощью ускорителей векторизации и оптимизации памяти в современных процессорах.

Код разработчиков доступен на GitHub.

Как отмечается в обсуждении, данный алгоритм предназначается именно для широких нейросетей, но не для сверточных.

  • 0 views
  • 0 Comment

Leave a Reply

Ваш адрес email не будет опубликован.

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

Свежие комментарии

    Рубрики

    About Author 01.

    blank
    Roman Spiridonov

    Моя специальность - Back-end Developer, Software Engineer Python. Мне 39 лет, я работаю в области информационных технологий более 5 лет. Опыт программирования на Python более 3 лет. На Django более 2 лет.

    Categories 05.

    © Speccy 2022 / All rights reserved

    Связаться со мной
    Close