Робот от DeepMind вышел на ракетку: как прошёл турнир по настольному теннису с людьми

Команда Google DeepMind научила робота играть в настольный теннис. Уровень — уверенный любитель. Но прогресс идёт так быстро, что не за горами день, когда чемпионы будут проигрывать железному игроку. Исследование выложено на сервисе препринтов arXiv.org — загляните, если хотите увидеть формулы за этой почти спортивной драмой.

«Роботу нужно совместить два типа навыков, — объясняют в DeepMind. — Базовые, вроде простого отбивания мяча, и высокоуровневые: стратегию, планирование на несколько ходов вперёд». По сути, его учили мыслить как спортсмен.

Как это работало? Сначала инженеры собрали огромный массив данных о начальных состояниях мяча: позиция, скорость, тип вращения. Потом их система тренировалась в гиперреалистичном виртуальном симуляторе, осваивая приёмы: ответ на подачу, слева, топ-спин справа. После этого накопленный опыт «залили» в настоящую роборуку, способную на резкие, точные движения, и поставили её играть с людьми. Кадры с камер на самой руке, фиксировавшие полёт мяча, снова отправлялись в симулятор для анализа. Получился замкнутый круг обучения — почти как у человека, только быстрее.

Турнир человека против машины

DeepMind пригласили 29 игроков разного уровня: от новичков до продвинутых любителей (уровень «продвинутый+»). Им предложили сыграть с роботом на гусеничной платформе. Итог: машина выиграла 13 матчей, то есть 45% игр. Исследователи скромно называют это «уверенным любительским уровнем».

Пока рано говорить о победе над топ-игроками. Робот разгромил всех новичков, выиграл около 55% матчей у середнячков и продвинутых, но против двух сильнейших соперников уровня «продвинутый+» не взял ни одной партии. Любопытно, что люди, независимо от результата, описали игру как «захватывающую» и «весёлую». Многие просили реванша. Похоже, мы уже не просто тестируем робота, а получаем от игры с ним настоящее удовольствие. Кто бы мог подумать?