FaceSync привносит аудиоуправляемую анимацию лица и синхронизацию губ в Unity

FaceSync — набор инструментов для аудиолипснка и анимации лица от студии Frostember Studios — помогает сэкономить время и оптимизировать производительность процессора, устраняя необходимость настройки синхронизации в реальном времени.

Этот набор инструментов представляет собой полноценную экосистему аудиоуправляемой анимации лица для Unity. Он будет полезен художникам, работающим над мобильными играми или играми виртуальной реальности, кинематографическими роликами для AAA-проектов или аватарами для VTubing.

Ключевые функции включают систему автономной «выпечки», которая имитирует аудио с частотой 60 FPS в редакторе, «выпекает» визимы, процедурный шум головы и моргание в оптимизированный ассет, который воспроизводится без затрат CPU во время выполнения. Набор инструментов изначально интегрирован с Unity's Timeline, позволяя пользователям перетаскивать запечённые данные через специальную систему FaceSync Track, смешивать анимации и переопределять поведение глаз и головы непосредственно из инспектора Timeline.

Процедурное движение глаз и головы оживляет персонажей с помощью реалистичного моргания, саккадических движений глаз и микродрожаний, в то время как голова и шея реагируют на интенсивность голоса с помощью шума Перлина. Настройка в один клик поддерживает ARKit и Character Creator 3 и 4, избавляя от необходимости вручную назначать десятки форм смешивания.

Режим Live Microphone делает набор инструментов подходящим для VTubers и многопользовательского голосового чата.

Другие функции включают автоматизированный мастер настройки, который за 30 секунд полностью оснащает персонажа и наделяет его способностью говорить, модуль профилей эмоций для смешивания пользовательских выражений лица с активной синхронизацией губ и систему отслеживания взгляда IK, которая заставляет персонажей динамически следовать за любым объектом или игроком в сцене.