Ученые объяснили превосходство искусственного интеллекта в аркадных играх

Стартап Google Deep Mind продемонстрировал новые возможности искусственного интеллекта. Его система Deep-Q-Network смогла превзойти человека в 49 классических аркадных играх 1980-х, не имея доступа к исходному коду игр и без изучения практики игроков-людей. Об алгоритме работы системы рассказывается в журнале Nature, а коротко о новой технологии сообщил Science News.

Лондонскую фирму DeepMind, специализирующуюся в области искусственного интеллекта, в 2014 году приобрел Google. По данным СМИ сумма сделки составила около 400 миллионов фунтов стерлингов. После вхождения в состав американской корпорации один из основателей стартапа Демис Хассабис (Demis Hassabis) заставил компьютер самостоятельно обучаться опыту игры — и даже открывать эффективные ходы и стратегии, о которых не знали даже люди.

Система компьютерного самообучения получила название Deep-Q-Network (DQN). В ней используются две различные стратегии обучения. Во-первых, это глубинная нейронная сеть — система восприятия, принцип работы которой напоминает зрение животных: она делает ходы и замечает, как меняются пиксели на экране. «Q» в названии означает Q-learning: математический аналог обучения с подкреплением (или поощрением), благодаря которому люди и животные осваивают новые навыки: каждое новое эффективное действие вознаграждается. В случае DQN наградой являются очки в игре: пробуя различные действия, система запоминает те комбинации, которые приносят максимум очков.

Исследователи дали DQN порезвиться с 49 классическими аркадными играми на платформе Atari 2600. Эти игры, по мнению Хассабиса, представляют собой золотую середину с точки зрения сложности игрового процесса. DQN были предоставлены крайне ограниченные ресурсы: две недели на каждую игру и вычислительные мощности одного-единственного персонального компьютера.

Эффективность системы была далеко не очевидна: искусственный интеллект раньше всегда проигрывал человеку в играх наподобие Breakout или Space Invaders, где для получения рекордного счета необходимо искать сложные стратегии. Однако в итоге DQN обыграла живых экспертов в 60 процентах игр: она набрала на 20-30 процентов больше очков в Space Invaders и Pong, а в Breakout и Video Pinball — в 200 раз больше. Следующим этапом, по словам Хассабиса, станет трансфер знаний: перенос навыков из одной игры в другую (например, во вторую игру с летающими шариками система сможет играть быстрее, чем в первую).

По мнению экспертов, система DQN имеет все шансы найти применение в рекламной стратегии Google. Пиксели аркадных игр являются аналогом многочисленных данных, которые поисковик собирает об отдельных пользователях, а очки — аналогом прибыли от рекламы. Обучение с подкреплением пригодится для улучшения качества объявлений: чем чаще на них кликают, тем больше очков получает система. Тот факт, что DQN обучается, наблюдая за происходящим на экране, а не обрабатывая исходный код, говорит о том, что Google она нужна для анализа изображений и видео.

Обсудить
Родина ждет
Северокорейский солдат сбежал из страны, словил пять пуль и выжил
Моя семья
Легендарный маньяк и его культ кровавых убийц держали в страхе всю Америку
Сулейман КеримовЛазурно: российского миллиардера задержали в Ницце
Сулеймана Керимова подозревают в отмывании миллионов евро
Курганские могильщики
Уральские бандиты покорили Москву 90-х и заставили бояться местных авторитетов
Умар Джабраилов«Дальше буду жить красиво»
Сколько стоит пострелять у Кремля под кокаином, если вы Умар Джабраилов
Ничего себе поездочка
Почему москвичи все чаще становятся жертвами таксистов
Темные времена
Лихие 90-е: спецпроект «Ленты.ру»
Муха не сидела!
Сколько стоят автомобильные «капсулы времени» спустя годы?
«Американец», который смог
Самые невероятные версии Chevrolet Corvette, от которых сносит крышу
Что. Вы. Наделали
Как мы потеряли идеальный Porsche и снова его нашли
Мистер Спок
Мы пощупали новейший Aston Martin Vantage и делимся первыми впечатлениями
Ловушка для планктона
Тест: Какой офис идеально вам подходит
Это чисто Питер
Сколько стоят квартиры в воспетом Шнуром городе на Неве
Нихао себе
Хибара из китайской глубинки стала лучшим зданием 2017 года
«Моя бывшая живет на помойке»
Москвич сделал из жены бомжа, и ему не стыдно
Берите две
Пять стран, где ипотеку дают под смешной процент