Искусственный интеллект NVIDIA и создание графики в реальном времени

На днях, в рамках выставки SIGGRAPH, которая посвящена графике и технологиям ее создания, компания NVIDIA показала как создавать фотореалистичную графику с помощью ИИ, графических решений и метода трассировки пути

Для рендеринга фотореалистичных изображений в реальном времени требуется точное моделирование света, имитирующее те же законы, которые управляют светом в физическом мире. Самый эффективный из известных до сих пор подходов — трассировка пути — требует огромных вычислительных ресурсов, но позволяет получать впечатляющие изображения.

В рамках исследований для решения этих задач Nvidia использовала платформу NVIDIA RTX, которая специально создана для этой задачи.

Рассмотрим, например, тигра, бродящего по лесу.

Чтобы сделать сцену полностью реалистичной, создатели должны визуализировать сложные световые эффекты, такие как отражения, тени и видимая дымка.

В сцене с лесом пятна солнечного света просачиваются сквозь листья на деревьях, и молекулы воды, взвешенные в туманном воздухе, превращают их в дымку. Рендеринг реалистичных изображений облаков, пыльных поверхностей или тумана в реальном времени раньше был невозможен. Но исследователи разработали методы на основе ИИ, которые в 10 раз эффективнее вычисляют визуальный эффект этих явлений.

Сам тигр одновременно освещен солнечным светом и затенен деревьями. Когда он идет через лес, его отражение видно в пруду внизу. Для такого рода насыщенных изображений как с прямыми, так и с вторичными отражениями может потребоваться вычисление тысяч путей для каждого пикселя сцены.

Эта задача слишком ресурсоемкая для решения в реальном времени. Поэтому группа исследователей NVIDIA создала алгоритм выборки пути, который отбирает пути и отражения, больше всего влияющие на финальное изображение, и визуализирует изображения более чем в 100 раз быстрее, чем было возможно ранее.

ИИ для тигра: нейронное кэширование излучения

Другая группа исследователей NVIDIA совершила прорыв в области освещения с помощью новой техники под названием нейронное кэширование излучения. В этом методе используются решения производителя для трассировки лучей и ускорения ИИ при обучении нейронной сети в реальном времени при рендеринге динамической сцены.

Нейронная сеть изучает, как свет распределяется по сцене. Она обрабатывает более миллиарда запросов в секунду на графическом процессоре NVIDIA GeForce RTX 3090, отображая густой мех тигра с детализированным освещением, ранее недоступным в режиме реального времени.

Источник: NVIDIA