Как студия Bad Chick создаёт приложения дополненной реальности, смешивающие физическое и цифровое пространство

Введение

Привет! Я Лафия Уотсон из Bad Chick Studios, мультидисциплинарный художник и специалист по креативным технологиям. Мой путь к пространственным вычислениям тогда казался случайным, но, оглядываясь назад, он был довольно неизбежен. Я выросла, играя в видеоигры, и такие игры-приключения, как Myst, оказали на меня глубокое влияние (у меня до сих пор есть оригинал на CD!). Эта любовь к интерактивному повествованию привела меня к созданию мультимедийного искусства, сочетающего текст, фотографию, иллюстрацию и любые технологии, которые я могла использовать в то время.

Я также программирую с детства, начиная с LOGO, DOS, Flash ActionScript, JavaScript и, в конце концов, C#. Поэтому, когда я нашла дополненную реальность, техническая сторона просто «щёлкнула». Сначала я начала создавать AR-проекты в Unity, используя Wikitude и Vuforia, но настоящим поворотным моментом для меня стало то, что меня приняли на стажировку в Snapchat и я влюбилась в Lens Studio. Я одновременно и создатель, и разработчик, поэтому была впечатлена тем, как быстро я смогла перейти от концепции к готовому продукту.

Что касается проектов, я создаю интерактивные проекты, в которых используются такие функции, как распознавание голоса и отслеживание рук. «Lines and Spaces» — это музыкальная образовательная игра с дополненной реальностью, которую я создала в сотрудничестве со Snapchat. «Framed!» — это детективная игра в дополненной реальности по локации, созданная в Unity, где игроки используют имитацию ультрафиолетового света, чтобы найти скрытые подсказки в пяти реальных локациях и помочь очистить имя друга.

А «Ghosts in the Machine: The Old Zoo» — это история о призраках в дополненной реальности, также созданная в Unity вместе с художником и хореографом Корин Викс, которая получила награду FIVARS Excellence in Experience Design в 2024 году и была финалистом Indiecade в 2025 году. Но суть всего, что я делаю, одна и та же: я хочу, чтобы зритель стал частью проекта, потому что у вас более глубокая связь с историей, когда вы можете быть частью путешествия и влиять на его исход.

Snap Spectacles как платформа дополненной реальности

Мобильная дополненная реальность прекрасна, потому что у большинства людей есть телефон, способный запускать такие приложения, поэтому доступность сложно превзойти. Но со временем держать телефон поднятым вверх утомляет, и смотреть на что-то через экран просто не кажется захватывающим. Очки решают многие проблемы. Это форма, которую все уже понимают, поэтому нет кривой обучения, нет ощущения скованности, и, в отличие от гарнитур, вы можете поделиться впечатлениями с кем-нибудь в одной комнате и при этом видеть друг друга.

Это открывает своего рода связь, которую гарнитуры просто не могут воспроизвести. Я работаю со Spectacles уже на двух поколениях разработчиков, и аппаратное обеспечение эволюционировало таким образом, что стало возможным создавать более длинные и глубокие впечатления, что было бы сложнее реализовать на телефоне. Со стороны разработчиков документация и поддержка Snap действительно великолепны, и видно, что они хотят, чтобы вы использовали платформу, и чувствуют себя уверенно, делая это.

Набор для взаимодействия со Spectacles даёт вам отслеживание рук и жестов прямо из коробки. Их библиотека ресурсов огромна, а шаблоны позволяют быстро начать работу. Команда разработчиков также делает многое для поддержки разработчиков за пределами самой платформы — через мероприятия, учебные пособия и практическую помощь. Они искренне хотят, чтобы разработчики добились успеха.

Проекты

«Listening Party» — это опыт работы с AR-проигрывателем пластинок, созданный для Snap Spectacles. Вдохновение пришло из реального момента общения. Однажды вечером я сидела в подвале своих родителей, перебирая их огромную коллекцию пластинок, слушая альбомы, попивая напитки и просто болтая. Когда я вернулась домой, у меня не было проигрывателя пластинок (или места для него), поэтому я создала цифровую версию.

Мои родители — музыканты, и было естественно включить в проект настоящую музыку моего отца, что делает его для меня особенно особенным. На первый взгляд, всё звучит довольно просто, но этот проект подтолкнул меня в неожиданном направлении, и он стал одним из тех, которыми я больше всего горжусь.

Создание основы

Моей отправной точкой был набор для взаимодействия со Spectacles в Lens Studio — набор предварительно созданных компонентов, который даёт вам основные функции взаимодействия, необходимые вам с самого начала: сжатие для выбора, манипулирование объектами, возможность масштабирования и перемещения объектов в трёхмерном пространстве.

Это стало основой проекта, и оттуда я добавила в него пользовательский интерфейс (UI Kit) для кнопок, ползунков и всех элементов управления, необходимых для включения и выключения проигрывателя и навигации между альбомами.

Размещение объектов в пространстве

Одним из самых больших обновлений между первой и второй версиями моего проекта было добавление ресурса Snap для размещения на поверхности. В оригинале проигрыватель был зафиксирован на месте. Если кто-то не обратил внимания, когда начинался опыт, он мог появиться где-нибудь в неудобном месте или совершенно вне досягаемости. Размещение на поверхности решило эту проблему для меня.

Пользователь смотрит на пол, находит подходящее место, зажимает его, чтобы зафиксировать, и проигрыватель появляется именно там, где он хотел. Такой контроль пользователя очень важен, особенно в новых технологиях, где люди всё ещё привыкают к взаимодействию.

Руководство пользователя

Я также добавил в второй версии анимированные подсказки для рук в 3D, которые показывают жесты, необходимые для взаимодействия с приложением. Мы не можем предполагать, что все, кто надевает очки, уже пользовались дополненной реальностью. Честно говоря, большинство людей, с которыми я разговариваю, никогда не пробовали её, поэтому визуальные подсказки, вводные моменты или просто разработка интуитивно понятных взаимодействий — всё это часть работы по руководству пользователем. Я всегда стараюсь соответствовать ожиданиям людей.

Самая сложная часть

Правильная настройка поведения иглы была наиболее технически сложной задачей, потому что было очень сложно настроить вращение иглы на проигрывателе в редакторе. Мне приходилось постоянно переносить проект в очки, чтобы протестировать его в реальном 3D-пространстве.

Это то, что я могу повторять снова и снова: тестируйте на оборудовании, как можно раньше и чаще, потому что это действительно другой опыт — просматривать его на экране компьютера и в физическом пространстве. Такой подход в итоге потребовал написания нескольких пользовательских скриптов, и довести всё до ума было настоящим достижением.

Создание ощущения жизни

Первая версия была довольно пассивной, поскольку вы просто ставили музыку и всё, а во второй версии я добавил небольшие анимированные элементы, которые всплывают с пластинки, когда начинается воспроизведение песни. Они служат визуальным сигналом о том, что музыка играет, но я также сделал их всплывающими, и, дотянувшись и нажав на них, можно вызвать небольшой всплеск движения.

Это очень приятно! Финальным боссом этого проекта по-прежнему остаётся мультиплеер. Я представляю себе людей, сидящих вместе в гостиной, в очках, и по очереди выбирающих альбомы. Эта версия всё ещё в разработке. Когда-нибудь в будущем!

Создание приложений дополненной реальности

Одним из наиболее важных аспектов, которые следует учитывать, является различное пространство, в котором могут находиться пользователи. Однажды я работал над совместным проектом, в котором использовалось распознавание голоса, и оно прекрасно работало дома, но в шумном пространстве на мероприятии озвучка была плохо слышна, а триггеры перестали срабатывать надёжно. В итоге мы добавили закрытые субтитры и запасной таймер, чтобы действие продолжалось независимо ни от чего, а создание таких защитных механизмов — это просто часть хорошего дизайна.

Что касается конкретно Spectacles, я много думаю об области обзора, потому что люди так привыкли смотреть на плоские экраны, что естественно фокусируются на том, что находится прямо перед ними. Однако опыт дополненной реальности может распространяться на всё пространство вокруг вас, поэтому вы должны активно направлять людей, чтобы они смотрели по сторонам, будь то с помощью визуальных подсказок, звука или просто чёткого указания повернуть голову. Никогда не предполагайте, что пользователь знает, что есть что-то ещё, что можно найти.

Сообщество разработчиков

Сообщество XR — это действительно одно из самых поддерживающих сообществ, в которых я когда-либо участвовал, и я говорю это как человек, который долгое время работал в одиночку, думая, что так и должно быть. Наличие людей, которые понимают радость и разочарование от работы в новых технологиях, которые будут тестировать вашу работу и давать вам реальную обратную связь, и которые свободно делятся своими знаниями, меняет то, как вы создаёте вещи.

Обратная связь имеет важное значение. Когда вы создаёте проект, вы уже знаете, как он работает. Вы можете предвидеть, где люди могут застрять, но неизбежно что-то упустите. Кто-то, кто подойдёт к этому с другой стороны, может выявить проблемы, которые ускользнули от вашего внимания, и иногда предлагать идеи, которые вы никогда бы не рассмотрели самостоятельно. Тестирование помогает вашему проекту выйти на новый уровень.

Что касается того, где найти своих людей: начните в интернете, потому что есть активные сабреддиты XR и серверы Discord, в которые стоит заглянуть. Но не пренебрегайте и личными встречами! MIT Reality Hack по-настоящему изменил мою жизнь, и я встретил там людей, с которыми общаюсь до сих пор. AWE (Augmented World Expo) каждый год ощущается как семейное воссоединение. Местные встречи XR также стоит искать, как для общения с сообществом, так и для возможности показать свою работу и получить живую обратную связь от людей в одной комнате.

Следующее приложение

Я уже некоторое время кручусь вокруг мультиплеера. Добавление функций мультиплеера всегда может быть немного сложным, поэтому я, признаюсь, избегал этого. Я пытался добавить его в проект Spectacles раньше, и это работало, но я столкнулся с некоторыми проблемами. Однако Snap выпустила более новую версию SyncKit, которая стала намного более оптимизированной.

Вместо того чтобы требовать от нескольких человек сканирования области, теперь вы просто смотрите друг на друга, и вы синхронизированы. Эта оптимизированная функция — мой сигнал, чтобы снова сесть в седло и попробовать ещё раз. Концепция — это игра «один на один», вдохновлённая «Морским боем», с общей игровой доской, где игроки прячут элементы и пытаются выяснить, где другой человек спрятал вещи.

Это что-то вроде пространственной стратегии с элементами головоломки. Я также планирую внедрить таблицу лидеров, которую использовал в своей последней игре «Don't Pick the Banana», и мне она понравилась, потому что в таблице лидеров есть что-то, что делает всех намного более конкурентоспособными, чем они планировали быть.

Заключение

Дополненная реальность для всех! И вопреки распространённому мнению, вам не нужно уметь программировать, чтобы начать. Есть инструменты, в том числе и в самой Lens Studio, которые позволяют создавать дополненную реальность, используя готовые ассеты, шаблоны и компоненты, не написав ни строчки кода, а Snap явно вложила средства в то, чтобы сделать платформу доступной для авторов на всех уровнях.

Их библиотека ассетов огромна, документация подробная, а благодаря шаблонам и готовым компонентам взаимодействия можно довольно быстро запустить что-то в работу. Начните с этого, поиграйте и поэкспериментируйте. Я скажу, что чем сложнее будут ваши идеи, тем больше вам пригодится знание программирования, но не позволяйте этому помешать вам начать.

Помимо инструментов, самое главное — это гибкость. Привыкайте к изменениям, потому что в этой сфере всё меняется быстро: инструменты меняются, компании закрываются, появляются новые платформы. К счастью, многие знания можно перенести, но научиться приспосабливаться — это не обсуждается. Будьте любопытны, будьте гибкими и не кладите все яйца в одну корзину.

Я не могу дождаться момента, когда у каждого будут очки, и пространственные вычисления станут частью повседневной жизни. Что меня волнует в этом будущем, так это то, что именно такой работой я уже занимаюсь. Моя работа живёт в пространстве между физическим и цифровым, где вы не просто наблюдаете за происходящим, но и реально взаимодействуете с ним.

Любое носимое устройство или инструмент, который позволяет людям по-своему взаимодействовать с окружающей средой, меня привлекает. Мне просто очень интересно увидеть, к чему приведёт это направление и как изменится моя практика, и я не могу дождаться, чтобы взять с собой других.

Лафия Уотсон, мультидисциплинарный художник и креативный технолог в Bad Chick Studios

Интервью проведено Глорией Левин