Intel Labs работает над проектом «Enhancing Photorealism Enhancement» (EPE) для создания фотореалистичного окружения. Исследователи добились высоких результатов по сравнению с другими технологиями благодаря использованию датасета с фотографиями реальных городов и алгоритмам обработки, которые убирают артефакты изображения.

Сотрудники Intel Labs построили свой проект на базе датасета Cityscapes, который содержит в себе фотографии немецких городов, снятых на камеру, закреплённую на автомобиле.

Часто, при обработке видеопотока с использованием методов машинного обучения возникают артефакты изображения: мерцания, прыжки, исчезновение деталей объектов и т.д. Разработчики смогли избежать этого. Для этого они использовали дополнительные данные такие, как глубина объектов, расстояние до камеры и информацию об обработке и визуализации освещения.

Сравнение изображений с дополнительными данными и без них

В результате работы EPE поверхность дорог сглаживается, меняются блики на транспорте, преображаются холмы и растительность. Кроме этого, к итоговому изображению применяется цветовой фильтр для повышения реалистичности.

Технология захватывает картинку из игры и обрабатывает её через Image Enhancement Network. Разработчики используют дополнительные геометрические данные, например, нормали поверхности и расстояние до камеры. Помимо этого, дополнительные данные включают в себя информацию об освещении объектов и характеристики диффузных отражающих способностей поверхности. Комплексный набор дополнительных данных — G-buffers, используется в работе сети для улучшения выходной информации.

Схема работы технологии

Обработанное изображение оценивается «перцептивным дискриминатором» и ему присваивается оценка. Для более объективной оценки изменённая картинка сравнивается с фотографией реального мира.

Intel Labs считает, что развитие программного обеспечения для улучшения компьютерной графики может сыграть такую же важную роль, как и увеличение вычислительной мощности видеокарт. Исследователи полагают, что в дальнейшем технологию можно довести до использования в режиме реального времени.