Share This
Связаться со мной
Крути в низ
Categories
//Google запустила Vertex AI — объединеную платформу для машинного обучения

Google запустила Vertex AI — объединеную платформу для машинного обучения

26.05.2021Category : My Habr

На прошлой неделе Google анонсировал запуск новой облачной платформы для машинного обучения — Vertex AI.

Главная особенность новой платформы в её амбициозном масштабе и интеграции с Google Cloud. Vertex AI вобрала в себя все облачные инструменты Google для подготовки наборов данных и обучения ML моделей.

google zapustila vertex ai obedinenuju platformu dlja mashinnogo obuchenija 0fe92a1 - Google запустила Vertex AI — объединеную платформу для машинного обучения

По замыслу разработчиков Google, команды смогут полностью перенести все ML процессы на Vertex AI: дата-инженеры ищут данные в Google BigQuery, аннотаторы размечают данные с помощью встроенных инструментов, дата-сайентисты настраивают алгоритмы обучения в AutoML и автоматически подбирают оптимальные гиперпараметры. Обученную и протестированную ML модель можно подключить к рабочему приложению в пару кликов — либо загрузить на специально подготовленный сервер в Google Cloud, либо экспортировать в один из популярных форматов.

После запуска модели Vertex AI поможет с наблюдением и сбором статистики. Данные о предсказаниях и ошибках позволят дата-инженерам и дата-сайентистам найти недочеты модели, скорректировать обучающий набор, обучить новую версию модели, провести А-Б тестирование, и запустить её в приложение.

Для некоторых частей этого круговорота предусмотрены средства автоматизации. Например инструмент для аннотирования данных может самостоятельно предлагать варианты разметки, что ускорит работу аннотаторов. Система мониторинга имеет возможность автоматически дополнять обучающий набор новыми данными, например теми на которых модель ошиблась при реальном использовании приложения. В совокупности это позволяет настраивать автоматические процедуры обучения новых версий модели, создавая само-совершенствующийся сервис.

google zapustila vertex ai obedinenuju platformu dlja mashinnogo obuchenija 8bff336 - Google запустила Vertex AI — объединеную платформу для машинного обучения

Несмотря на всеобъемлемость платформы, разработчики предусмотрели возможность замены любой ее части на самописные решения. Например в этом туториале показывается как написать свой алгоритм обучения модели, запаковать его в Docker контейнер и встроить его в процесс обучения модели. Использование Docker контейнеров позволяет писать код на любом языке программирования и использовать любые библиотеки. Официально поддержаны клиентские обвязки для Python, Java и Node.js. Контейнеры ни в чем не ограничены, в частности они имеют доступ к интернету и Google Storage, что позволяет скачивать любые данные необходимые для обучения модели. Подобный механизм действует и для кода самой ML модели, которую тоже можно создать на произвольной технологии, упаковать в контейнер и загрузить на Vertex AI.

Если захотите познакомится с Vertex AI глубже, будте осторожны со стоимостью ресурсов облака, необходимых для обучения моделей. Я рекомендую установить небольшой бюджет в настройках Google Cloud и обращать внимание на приблизительную стоимость выполнения туториала в долларах (USD) которая иногда указывается.

Официальный пост о запуске Vertex AI можно прочесть здесь.

Видео демонстрации возможностей Vertex AI (на английском):

  • What is Vertex AI?
  • Build end-to-end solutions with Vertex AI
  • Hands on with Cloud AI Workshop

Интерактивные туториалы от Google (на английском):

  • Vertex AI:Training and serving a custom model: ~30 минут, ~$1
  • Building a financial ML model with the What-If Tool and Vertex AI: обучение на табличных данных с использованием What-if Tool, ~ 60 минут, ~$1
  • Build an AutoML Forecasting Model with Vertex AI: ~90 минут, ~$25
  • 0 views
  • 0 Comment

Leave a Reply

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

Свежие комментарии

    Рубрики

    About Author 01.

    blank
    Roman Spiridonov

    Моя специальность - Back-end Developer, Software Engineer Python. Мне 39 лет, я работаю в области информационных технологий более 5 лет. Опыт программирования на Python более 3 лет. На Django более 2 лет.

    Categories 05.

    © Speccy 2020 / All rights reserved

    Связаться со мной
    Close