Искусственный интеллект компании DeepMind уже не раз демонстрировал своё превосходство над людьми. Он побеждал живых игроков в Quake III Arena, StarCraft 2, шахматах и го. Но теперь, как оказалось, ИИ научился создавать новые стратегии для «Квейка», в которых ничем не уступает человеку. Об этом сообщается в статье журнала Science.
Никто не рассказал ИИ, как играть в эту игру, у него был только результат — победил ИИ своего противника или нет. Прелесть использования подобного подхода в том, что вы никогда не знаете, какое поведение возникнет при обучении агентов.
С исследовательской точки зрения, это новинка для алгоритмического подхода, которая действительно впечатляет. Способ, которым мы обучали наш ИИ, является хорошим примером того, как масштабировать и реализовать некоторые классические эволюционные идеи.
Макс Джадерберг, научный сотрудник DeepMind
В основе каждого агента лежат две рекуррентные нейронной сети (RNNs) для быстрых решений и медленного анализа с общей памятью. Для игры были обучены 30 агентов, а карты выбирались случайным образом.
При этом каждый агент имел свой собственный сигнал вознаграждения, позволяя формировать внутренние цели. Всего же каждый модуль сыграл порядка 450 тысяч игр на захват флага. А уже через 225 тысяч матчей машина научилась играть на уровне профессиональных геймеров.
Помимо этого, агенты «For The Win» (FTW) освоили работу в одной команде. По итогам турнира против людей и других ИИ, агенты FTW значительно превзошли коэффициент побед у живых игроков. Вероятность выигрыша ИИ составила 1600, у профессиональных геймеров — 1300, у обычных — 1050.
Разумеется, это связано с более высокой реакцией у машины, чем у человека. Любопытно, что новые карты также оказались «по зубам» ИИ-агентам FTW, а командная игра была признана успешной.
