NVIDIA рассказывает об изменениях в создании контента и рабочих процессах с использованием искусственного интеллекта

Как я попала в NVIDIA

Эшли: Привет, я Эшли Мартино-Тарр. Я специалист по рабочим процессам в NVIDIA, и сегодня я здесь, на Adobe MAX, чтобы показать людям, что интересного можно делать с помощью генеративного ИИ.

Сабур: Меня зовут Сабур Амиразододи, и я работаю в NVIDIA с 2020 года!

Эшли: Я попала в NVIDIA через свою школу. Я училась в Академии художественного университета, где изучала 3D-анимацию и визуальные эффекты. Моё портфолио заметили в NVIDIA, и я прошла собеседование. Они хотели меня нанять, но в то время у меня был контракт о неконкуренции, и я не могла работать в NVIDIA. Когда контракт закончился, я связалась с NVIDIA, и они сказали «да».

Я помогала создавать материалы для библиотеки языка определения материалов NVIDIA, известной как MDL. Я также выполняла множество задач по рендерингу и моделированию поверхностей и работала над множеством действительно интересных проектов. Затем наступил 2020 год, началась пандемия, и появился генеративный ИИ. Однажды я решила протестировать новинку от Stability AI — Stable Diffusion. Я была полностью очарована. Я начала изучать генеративный ИИ и всё, что происходит в этой сфере.

С тех пор моя роль в NVIDIA изменилась. Я стала специалистом по рабочим процессам, где я пытаюсь выяснить, как использовать самые передовые технологии и инструменты и внедрить их в существующие конвейеры.

Сабур: В 2017 году со мной связался Майкл Стил, который работал в отделе по работе с разработчиками в NVIDIA. Он спросил, хочу ли я выступить на Adobe MAX и показать некоторые из своих работ. Я сразу же согласилась — я уже использовала оборудование NVIDIA и была в восторге. Я собрала все свои работы и проекты, загрузила их на жёсткий диск и пришла без конкретной демонстрации.

Такие мероприятия, как Adobe MAX, оказали огромное влияние на мою карьеру. Это событие занимает особое место в моём сердце. Здесь я познакомилась с творческими профессионалами, экспертами отрасли и многому научилась. Я изучила Cinema 4D и программное обеспечение Adobe, посещая сессии и общаясь с людьми.

ИИ в искусстве

Эшли: Самый большой сдвиг — в сторону мультимодальных моделей и моделей MOE (mixture-of-experts). Эти модели могут понимать контекст из разных входных данных и генерировать различные типы выходных данных. Некоторое время назад, если вы хотели создать изображение, вам нужна была одна модель. Для видео — другая модель. Сегодня у нас есть мировые модели и модели MOE, которые позволяют вам делать больше, чем одно дело в одной модели.

Одна из действительно интересных областей, которую мы исследуем, — это использование агентов и агентского ИИ для создания изображений, историй, видео и многого другого. Эти модели не просто производят один результат; они могут создавать полезные данные, которые позволяют создателям контролировать свои проекты и вносить в них изменения.

Пример, который мне нравится, — дифференциальная диффузия: возможность извлекать световые проходы из любого изображения. Рассеянный свет, зеркальный свет, информация о тени. Вы можете заново осветить сцену постфактум, сделать свет теплее, убрать другие источники света и перекомпоновать изображение без потери целостности. Это невероятно мощно.

Сабур: Генеративный ИИ также изменил рабочие процессы. Такие инструменты, как Generative Extend в Adobe Premiere, решают такие проблемы, как отсутствие ручек или недостаточно длинные переходы.

Достижения в рендеринге

Сабур: В своей отрасли я много занималась визуальными эффектами и производством. Примерно в то время у меня был проект для Google, где мне нужно было создать полноценное VR-окружение на 180 градусов. Рендеринг каждого кадра занимал 12–13 минут. У меня не было возможности закончить работу вовремя. Другие компании уже отказались от этой работы, а я согласилась, не осознавая, что у меня нет возможности рендерить её достаточно быстро.

Затем вышел Octane Render. Он был полностью ускорен на GPU. Я обнаружила, что с высокопроизводительным GPU рендеринг был значительно быстрее, чем рендеринг на CPU. И я могла масштабировать его, добавляя несколько GPU на машину. В итоге я построила небольшую рендер-ферму в своей крошечной студии. Я сократила время рендеринга с 12 минут на кадр до одной минуты, а затем и до примерно 45 секунд. Это была разница между выполнением работы и её невыполнением.

Я создавала визуальные эффекты для сцен и концертов. Я работала над большим проектом для Pioneer DJ, используя светодиодные стены и иммерсивный контент — американские горки, космические корабли, вулканы, динозавры. Это было весело, но рендеринг занимал огромное количество времени. Ускоренные на GPU движки, такие как Octane, сделали это возможным. Я использовала Cinema 4D и весь пакет Adobe для компоновки всего.

Изменения в процессе производства материалов

Эшли: Даже до появления генеративного ИИ Adobe использовала ИИ в Substance 3D Sampler для генерации материалов по изображениям. Он мог взять одно фото и извлечь карты смещения, нормалей и шероховатости с помощью методов трассировки лучей. Результаты по-прежнему остаются чрезвычайно качественными.

Но инструменты не идеальны. Многие задачи по созданию поверхностей остаются ручными, повторяющимися и утомительными. ИИ начинает помогать в таких вещах, как очистка краёв, улучшение бесшовного тайлинга, автоматическая перестановка тайлов для больших сцен, интеллектуальное зашивание швов и смешивание материалов в больших окружениях. И я думаю, что представление материалов будет развиваться. Помимо PBR, мы наблюдаем Gaussian Splatting, NeRF и новые способы захвата свойств материалов непосредственно из изображений или отсканированных 3D-файлов.

Одна область, в которую я действительно надеюсь внедрить ИИ, — это чрезвычайно техническая, неблагодарная часть 3D: рисование весовых коэффициентов для ригов, ретопология, UV-развёртка, очистка проекций. Представьте себе риггеров, которые сосредоточены на системах IK вместо рисования весов. Представьте, что вам больше не нужно беспокоиться об UV-развёртке. Уже ведутся многообещающие исследования.

Эшли Мартино-Тарр, специалист по рабочим процессам в NVIDIA

Сабур Амиразододи, инженер по техническому маркетингу в NVIDIA