Ученые объяснили превосходство искусственного интеллекта в аркадных играх

Стартап Google Deep Mind продемонстрировал новые возможности искусственного интеллекта. Его система Deep-Q-Network смогла превзойти человека в 49 классических аркадных играх 1980-х, не имея доступа к исходному коду игр и без изучения практики игроков-людей. Об алгоритме работы системы рассказывается в журнале Nature, а коротко о новой технологии сообщил Science News.

Лондонскую фирму DeepMind, специализирующуюся в области искусственного интеллекта, в 2014 году приобрел Google. По данным СМИ сумма сделки составила около 400 миллионов фунтов стерлингов. После вхождения в состав американской корпорации один из основателей стартапа Демис Хассабис (Demis Hassabis) заставил компьютер самостоятельно обучаться опыту игры — и даже открывать эффективные ходы и стратегии, о которых не знали даже люди.

Система компьютерного самообучения получила название Deep-Q-Network (DQN). В ней используются две различные стратегии обучения. Во-первых, это глубинная нейронная сеть — система восприятия, принцип работы которой напоминает зрение животных: она делает ходы и замечает, как меняются пиксели на экране. «Q» в названии означает Q-learning: математический аналог обучения с подкреплением (или поощрением), благодаря которому люди и животные осваивают новые навыки: каждое новое эффективное действие вознаграждается. В случае DQN наградой являются очки в игре: пробуя различные действия, система запоминает те комбинации, которые приносят максимум очков.

Исследователи дали DQN порезвиться с 49 классическими аркадными играми на платформе Atari 2600. Эти игры, по мнению Хассабиса, представляют собой золотую середину с точки зрения сложности игрового процесса. DQN были предоставлены крайне ограниченные ресурсы: две недели на каждую игру и вычислительные мощности одного-единственного персонального компьютера.

Эффективность системы была далеко не очевидна: искусственный интеллект раньше всегда проигрывал человеку в играх наподобие Breakout или Space Invaders, где для получения рекордного счета необходимо искать сложные стратегии. Однако в итоге DQN обыграла живых экспертов в 60 процентах игр: она набрала на 20-30 процентов больше очков в Space Invaders и Pong, а в Breakout и Video Pinball — в 200 раз больше. Следующим этапом, по словам Хассабиса, станет трансфер знаний: перенос навыков из одной игры в другую (например, во вторую игру с летающими шариками система сможет играть быстрее, чем в первую).

По мнению экспертов, система DQN имеет все шансы найти применение в рекламной стратегии Google. Пиксели аркадных игр являются аналогом многочисленных данных, которые поисковик собирает об отдельных пользователях, а очки — аналогом прибыли от рекламы. Обучение с подкреплением пригодится для улучшения качества объявлений: чем чаще на них кликают, тем больше очков получает система. Тот факт, что DQN обучается, наблюдая за происходящим на экране, а не обрабатывая исходный код, говорит о том, что Google она нужна для анализа изображений и видео.

Обсудить
Demonstrators take part in a protest aimed at showing London's solidarity with the European Union following the recent EU referendum, inTrafalgar Square, central London, Britain June 28, 2016. REUTERS/Dylan Martinez TPX IMAGES OF THE DAYСпасет ли уход Меркель Европу?
Свое 60-летие Европейский союз встречает в состоянии экзистенциального кризиса
Participants attend a gay pride parade in central Istanbul June 30, 2013. Tens of thousands of anti-government protesters teamed up with a planned gay pride march in Istanbul. Crowds were stopped by riot police from entering Taksim, the centre of previous protests, but the atmosphere appeared peacefulОпасное интернет-проникновение
Грозит ли подъем геев-мусульман исламскому миру
Displaced people from the minority Yazidi sect, fleeing violence from forces loyal to the Islamic State in Sinjar town, walk towards the Syrian border, on the outskirts of Sinjar mountain, near the Syrian border town of Elierbeh of Al-Hasakah Governorate August 11, 2014. Islamic State militants have killed at least 500 members of Iraq's Yazidi ethnic minority during their offensive in the north, Iraq's human rights minister told Reuters on Sunday. The Islamic State, which has declared a caliphate in parts of Iraq and Syria, has prompted tens of thousands of Yazidis and Christians to flee for their lives during their push to within a 30-minute drive of the Kurdish regional capital Arbil. Picture taken August 11, 2014. REUTERS/Rodi Said (IRAQ - Tags: POLITICS CIVIL UNREST TPX IMAGES OF THE DAY) FOR BEST QUALITY IMAGE ALSO SEE: GM1EA8M1B4V01Дважды отверженные
Почему от женщин, вырвавшихся из плена боевиков, отворачивается общество


Из ЕС в сексуальное рабство
Что вынуждает румынок отправляться на Сицилию, где их ждет неволя
Пижон Джон
Дикий сэр Элтон, каким его уже мало кто помнит
«Главное — убедить людей, что они счастливы»
Джон Стейнбек и Роберт Капа о советских застольях, писателях и правительстве
Девочки кровавые в глазах
Кино недели с Денисом Рузаевым: от «Манчестера у моря» до «Демона внутри»
Под «Грибами» тает лед
Самая навязчивая песня сезона — во всех мемах страны
Восточные легенды
Культовые японские автомобили ушедших лет
Очень страшные «Рейндж Роверы»
Самые жуткие варианты тюнинга автомобилей Land Rover
Самые необычные ДТП
Автомобили на крышах, в бассейнах и другие непонятные аварии, достойные премии
Пиджак и боб
Самое крутое автомобильное видео марта
Бог простит
В церкви нашли квартиру с красной мебелью и портретами в стиле поп-арт
Фрэнк ГериСпугнули рыбу
Почему антисемиты изгнали из Канады создателя «танцующего дома»
«Наш дом — колония строгого режима»
История семьи, оказавшейся на грани распада из-за дачи
Цветам не место в доме
Почему дети мешают взрослым жить счастливо в собственных квартирах