Miroslav Kungurov

Пишу об IT и на Python. kungurov.net Исследователи из MIT разработали новый подход к генерации изображений с помощью ИИ под названием distribution matching distillation (DMD), который значительно ускоряет процесс создания высококачественных картинок.

Генераторы изображений на основе ИИ обычно работают через процесс, известный как «диффузия». По сути, модель, генерирующая изображение, начинает с очень расплывчатой, размытой картинки, и последовательные шаги сэмплирования уточняют изображение, пока оно не станет четким и реалистичным. Диффузия обычно является трудоемким процессом, требующим множества шагов, но исследователи из MIT нашли лучший способ.

Источник: hothardware.com

Используя новый подход под названием distribution matching distillation (DMD), исследователи из Лаборатории компьютерных наук и искусственного интеллекта MIT сумели сократить процесс диффузии до одного шага сэмплирования. Очевидно, это намного быстрее, чем обычно требуется для типичных процессов диффузии изображений, где необходимо итерировать изображение от тридцати до пятидесяти раз. Полученные результаты также неплохи; взгляните:

Источник: hothardware.com 🎨 Библиотека нейрокартинок Все самое полезное про нейросети для генерации изображений вы найдете на нашем телеграм-канале «Библиотека нейрокартинок»

Есть также видео, которое наглядно демонстрирует улучшение производительности. В то время как Stable Diffusion 1.5 требует около полутора секунд для создания изображения на современном оборудовании, новая модель MIT на основе DMD занимает около пяти сотых секунды.

Модели, такие как Instaflow и LCM, пытались сделать то же самое, что и DMD от MIT, с иногда сомнительными результатами. Как и во многих вещах в вычислительной технике, это компромисс между качеством и производительностью. Новый метод MIT, похоже, предлагает лучшее из обоих миров, с балансом между скоростью генерации и детализацией изображения.

Источник: hothardware.com

Это также не первый случай, когда люди придумали, как выполнять диффузию за гораздо меньшее количество шагов; в частности, сама Stability AI создала модель под названием Stable Diffusion Turbo, которая может генерировать изображения с разрешением 1 мегапиксель за один шаг диффузии, хотя результаты, как правило, лучше с несколькими дополнительными шагами. Stable Diffusion Turbo работает очень похожим образом на подход DMD от MIT; она использует меньшую модель, обученную на выходных данных Stable Diffusion XL, чтобы «вести» модель Turbo к тому, что производила бы полная модель SDXL.

Stable Diffusion Turbo также дает отличные результаты за секунду или две на современном оборудовании. Источник: hothardware.com