Создание 3D-мира жестами: как ИИ превращает движения в объекты

Суть в чём? Исследователи применили машинное обучение, чтобы создать аналог «горячих клавиш», но для жестов. Назвали это HotGestures. Теперь, чтобы взять кисть или вырезать объект, не нужно рыскать по меню — просто сделай характерное движение рукой. По замыслу авторов, это позволяет полностью погрузиться в творческий процесс, не отвлекаясь на интерфейс. Представьте, что вы рисуете в воздухе и ваши мысли сразу материализуются — примерно так это и работает.

Когда ваши руки становятся волшебной палочкой

VR давно вышла за пределы игр, но её главная проблема остаётся: взаимодействие часто выглядит неуклюже и утомительно. «Люди быстро устают размахивать руками, глаза напрягаются, точность падает», — честно признаётся соавтор проекта, профессор Пер Ола Кристенссон. Звучит знакомо, правда?

Мы все привыкли к «горячим клавишам»: Ctrl+C, Ctrl+V. Они ускоряют дело, но только если вы их помните. «А что, если перенести эту идею в виртуальность, но сделать её интуитивной — такой, чтобы не требовалось ничего заучивать?» — рассуждает Кристенссон. Так родилась концепция «горячих жестов».

Хотите разрезать объект? Сделайте режущее движение двумя пальцами. Нужна краска — имитируйте нажатие на распылитель. Инструмент появляется мгновенно, меню не требуется. Вы просто работаете, не прерывая творческий поток, чтобы найти кнопку на контроллере. Это же гениально — когда технология исчезает, оставляя только магию действия.

Нейросеть, которая вас понимает с полусgestа

В основе системы — нейросеть, которая в реальном времени распознаёт и предсказывает ваши жесты. Пока что она обучена на десяти основных для 3D-моделирования: перо, куб, цилиндр, сфера, палитра, распыление, вырезание, масштабирование, дублирование и удаление. Но этот список — лишь начало. Его можно расширять и настраивать под свои нужды.

В ходе исследований участники сравнивали HotGestures с классическим меню и их комбинацией. Результат? Жесты оказались быстрее и, что важно, субъективно приятнее в использовании. Людям понравилась эта естественность.

Самое щедрое решение — команда выложила исходный код и датасет для обучения в открытый доступ. «Мы хотим, чтобы это стало новым стандартом для VR», — говорит Кристенссон. — «Мы десятилетиями таскали с собой метафору офисного стола с папками и файлами. Пора наконец придумать для цифрового мира что-то по-настоящему органичное. Если сделать всё правильно, виртуальная реальность и правда ощущается как волшебство».