Ученые объяснили превосходство искусственного интеллекта в аркадных играх

Стартап Google Deep Mind продемонстрировал новые возможности искусственного интеллекта. Его система Deep-Q-Network смогла превзойти человека в 49 классических аркадных играх 1980-х, не имея доступа к исходному коду игр и без изучения практики игроков-людей. Об алгоритме работы системы рассказывается в журнале Nature, а коротко о новой технологии сообщил Science News.

Лондонскую фирму DeepMind, специализирующуюся в области искусственного интеллекта, в 2014 году приобрел Google. По данным СМИ сумма сделки составила около 400 миллионов фунтов стерлингов. После вхождения в состав американской корпорации один из основателей стартапа Демис Хассабис (Demis Hassabis) заставил компьютер самостоятельно обучаться опыту игры — и даже открывать эффективные ходы и стратегии, о которых не знали даже люди.

Система компьютерного самообучения получила название Deep-Q-Network (DQN). В ней используются две различные стратегии обучения. Во-первых, это глубинная нейронная сеть — система восприятия, принцип работы которой напоминает зрение животных: она делает ходы и замечает, как меняются пиксели на экране. «Q» в названии означает Q-learning: математический аналог обучения с подкреплением (или поощрением), благодаря которому люди и животные осваивают новые навыки: каждое новое эффективное действие вознаграждается. В случае DQN наградой являются очки в игре: пробуя различные действия, система запоминает те комбинации, которые приносят максимум очков.

Исследователи дали DQN порезвиться с 49 классическими аркадными играми на платформе Atari 2600. Эти игры, по мнению Хассабиса, представляют собой золотую середину с точки зрения сложности игрового процесса. DQN были предоставлены крайне ограниченные ресурсы: две недели на каждую игру и вычислительные мощности одного-единственного персонального компьютера.

Эффективность системы была далеко не очевидна: искусственный интеллект раньше всегда проигрывал человеку в играх наподобие Breakout или Space Invaders, где для получения рекордного счета необходимо искать сложные стратегии. Однако в итоге DQN обыграла живых экспертов в 60 процентах игр: она набрала на 20-30 процентов больше очков в Space Invaders и Pong, а в Breakout и Video Pinball — в 200 раз больше. Следующим этапом, по словам Хассабиса, станет трансфер знаний: перенос навыков из одной игры в другую (например, во вторую игру с летающими шариками система сможет играть быстрее, чем в первую).

По мнению экспертов, система DQN имеет все шансы найти применение в рекламной стратегии Google. Пиксели аркадных игр являются аналогом многочисленных данных, которые поисковик собирает об отдельных пользователях, а очки — аналогом прибыли от рекламы. Обучение с подкреплением пригодится для улучшения качества объявлений: чем чаще на них кликают, тем больше очков получает система. Тот факт, что DQN обучается, наблюдая за происходящим на экране, а не обрабатывая исходный код, говорит о том, что Google она нужна для анализа изображений и видео.

Обсудить
Наука и техника00:0223 июня
Стив Джобс

Гнилой пепин

Забытая история худшего в истории продукта от Apple
Африканский «боярышник»
Как спиваются жители Черного континента
Богемская рапсодия
Жертвоприношения, ритуалы и пьянство в самом закрытом мужском клубе США
Старикам здесь не место
В Швейцарии хотят разрешить эвтаназию пожилым людям
Тимофей Бордачев: «Убирайтесь, но заплатите высокую цену»
Европейцы хотят развестись с Британией по-жесткому
Пан или пропал
Киев угрожает арестами активов «Газпрома» за пределами национальной юрисдикции
Вода камень точит
Инвестиционная привлекательность столицы может вырасти на 10 процентов
Сергей КурченкоОтнять и поделить
Какую собственность на Украине все еще может потерять Россия
Кистью и краской
Неизвестные кадры Великой Отечественной через призму советской ретуши
Стив ДжобсГнилой пепин
Забытая история худшего в истории продукта от Apple
Ждите гостей
Доказано существование высокотехнологичной цивилизации в Млечном Пути
Аскот, ВеликобританияДень безумных шляп
Почему британские аристократы, съехавшиеся на скачки в Аскоте, так странно одеты
Миллениалы в бегах
Куда иммигрировать молодому россиянину, мечтающему жить за границей
 reaches up to the sky during the summer solstice at Stonehenge, near Salisbury in England, Tuesday, June 21, 2011. The ancient stone circle of Stonehenge is a World Heritage Site erected between approximately 3000BC and 1600BC and despite years of research the reason behind its construction remains a mystery. The summer solstice in the northern hemisphere occurs annually on June 21 and is the time at which the sun is at its northernmost point in the sky.Меч и мотоцикл
Зачем тысячи ведьм и друидов собрались возле Стоунхенджа
Тест и стоимость владения Skoda Superb
Длительный тест универсала Skoda Superb: итоги
Самые крутые участники гонки Pikes Peak
Лучшие автомобили «Гонки в облаках» за ее 101-летнюю историю
Самые качественные машины в мире
Машины каких брендов ездят в сервис реже остальных
Русская рулетка
Как спланировать гонку в 24 часах Ле-Мана и почему эти планы могут не сработать
Вите надо выйти
Соседи несколько лет травят москвича, который отказывается переселяться
Без свидетелей
Дома для тех, кто ненавидит соседей
Москва за нами
Какие квартиры можно купить в пределах МКАД по цене до трех миллионов рублей
Классовая борьба
На смену дешевым квартирам в Москве пришел новый вид жилья
Да катитесь вы
Семейная пара отказалась от квартиры и поселилась в автобусе