Найден новый способ повышения фотореалистичности в играх

Сотрудники университета Корнелл разработали методику с использованием нейросетей, благодаря которой создаваемая картинка окружения в игре максимально приближается по цветопередаче и свету к той, что мы видим за окном.

Работу своего метода они продемонстрировали на примере геймплея из Grand Theft Auto V. Во время обработки изображения полученного из игры добавляются данные от нейросети, которая натренирована на данных полученных из реального мира. Далее используется дискриминатор, который находит совпадающие предметы, вроде дорожной разметки, бордюров, дорожных объектов и склеивает данные между двумя потоками.

Авторы метода предлагают новую стратегию выборки участков изображения во время обучения нейросетей, чтобы избавиться от сильных артефактов изображений, которые возникали в аналогичных методах улучшения реалистичности и качества изображения.

Результатом работы их метода является действительно впечатляющие различия в графике, которые вы можете увидеть в ролике ниже. Исходный код метода авторы проекта Стефан Рихтер, Хасан Абу Аль-Хайджа, Владлен Колтун разместили на GitHub сделав общедоступным. Очень надеемся, что кто-то из игровых компаний возьмет метод на вооружение, или же моддеры попробуют использовать его для улучшения качества старых проектов.