Facebook AI представила проект искусственного интеллекта TextStyleBrush, который может копировать стиль текста на фотографии, используя всего одно слово. С помощью этой модели можно редактировать и заменять текст в изображениях.

fb.com

Как отмечают разработчики, инструмент позволит переводить текст в изображениях на разные языки, создавать персонализированные сообщения и подписи, а также, возможно, облегчит создание фотореалистичного перевода в дополненной реальности.

Модель обучили для понимания неограниченного количества стилей текста не только разной типографики и каллиграфии, но и подвергнутого деформации, например, из-за использования некачественной ручки; а также текста с фоном и зашумленных изображений.

Пример работы TextStyleBrush с рукописными вывесками во фруктовой лавке

TextStyleBrush работает так же, как инструменты кисти в текстовых редакторах. В отличие от предыдущих моделей, которые определяли конкретные параметры, такие как шрифт или стиль, она использует более целостный подход к обучению и отделяет содержание текстового изображения от аспектов его внешнего вида. Затем представление общего внешнего вида применяется моделью для переноса.

Разработчики отмечают, что они намерены стимулировать исследования, предотвращающие злоупотребления дипфейк-технологиями, в том числе, с помощью своей технологии.

Они пообещали улучшать систему, устранив ограничения, в том числе текста из металлических букв и символов разного цвета.