Новости

ИИ разбил двух профессионалов в StarCraft, но это был не честный бой

Посмотреть полный сайт

Авторизоваться

регистр

азартные игры Культура / Игры Развлекательная программа

ИИ раздавил двух человеческих профи Стар Крафт— но это был не честный бой

Сверхчеловеческая скорость и точность помогли Стар Крафт ИИ победит двух лучших игроков.

Тимоти Б. Ли — 30 января 2019 г., 17:28 UTC

DeepMind, стартап AI, приобретенный Google в 2014 году, вероятно, наиболее известен тем, что он создал первый AI, победивший чемпиона мира на Go. Итак, что вы делаете после освоения одной из самых сложных настольных игр в мире? Вы беретесь за сложную видеоигру. В частности, DeepMind решил написать AI для игры в стратегию в реальном времени. StarCraft II.

Стар Крафт требует, чтобы игроки собирали ресурсы, строили десятки воинских частей и использовали их, чтобы попытаться уничтожить своих противников. Стар Крафт Это особенно сложно для ИИ, потому что игроки должны выполнять долгосрочные планы в течение нескольких минут игрового процесса, настраивая их на лету перед лицом контратак противника. DeepMind говорит, что до его собственных усилий никто не приблизился к разработке Стар Крафт ИИ так же хорош, как и лучшие люди-игроки.

В прошлый четверг DeepMind объявил о значительном прорыве. Компания противопоставила свой AI, получивший название AlphaStar, двум Стар Крафт игроки — Дарио "TLO" Вюнш и Гжегож "МаНа" Коминц. AlphaStar выиграл серию из пяти игр против Wünsch 5-0, а затем победил Komincz 5-0.

АльфаСтар может быть самым сильным Стар Крафт ИИ когда-либо создавался. Но это не было таким большим достижением, как могло бы показаться на первый взгляд, потому что это был не совсем честный бой.

AlphaStar обучался с использованием «до 200 лет» виртуального игрового процесса

DeepMind пишет, что «поведение AlphaStar генерируется глубокой нейронной сетью, которая получает входные данные из необработанного игрового интерфейса (список юнитов и их свойств) и выводит последовательность инструкций, составляющих действие в игре. Более конкретно, нейронная сеть Сетевая архитектура применяет торс трансформатора к блокам в сочетании с глубоким ядром LSTM, главой авторегрессивной политики с сетью указателей и централизованным базовым уровнем значений ».

Я пойму, что не совсем понимаю, что все это значит. DeepMind отказался говорить со мной об этой истории, и DeepMind еще не выпустил предстоящий рецензируемый документ, объясняющий, как именно AlphaStar работает. Но DeepMind объясняет в некоторых деталях, как он обучил свой виртуальный Стар Крафт игроки становятся лучше с течением времени.

Процесс начался с использования контролируемого обучения, чтобы помочь агентам научиться имитировать стратегии людей-игроков. Эта методика обучения подкрепления была достаточной для создания компетентного Стар Крафт II бот. DeepMind говорит, что этот первоначальный агент "победил встроенный искусственный интеллект уровня Elite — на уровне золота для игрока — в 95% игр".

Затем DeepMind разветвлял этот первоначальный ИИ на несколько вариантов, каждый с немного отличающимся стилем игры. Все эти агенты были брошены в виртуальный Стар Крафт Лига, где каждый агент круглосуточно играет с другими, учится на своих ошибках и со временем развивает свои стратегии.

«Чтобы поощрять разнообразие в лиге, у каждого агента есть своя собственная цель обучения: например, какие конкуренты должны стремиться победить этого агента, и любые дополнительные внутренние мотивы, которые влияют на то, как играет агент», — пишет DeepMind. «У одного агента может быть цель побить одного конкретного конкурента, в то время как другому агенту, возможно, придется побить целое распределение конкурентов, но сделайте это, создав больше определенного игрового устройства».

Согласно DeepMind, некоторые агенты получили эквивалент 200 лет практики игры Стар Крафт против других агентов. За двухнедельный период этот дарвиновский процесс значительно улучшил средний навык агентов:

ИИ разбил двух профессионалов в StarCraft, но это был не честный бой

В конце этого процесса DeepMind выбрал пятерых сильнейших агентов из своего виртуального зверинца, чтобы сразиться с противниками АльфаСтар. Одним из следствий этого подхода было то, что игроки-люди сталкивались с разной стратегией противостояния в каждой игре против AlphaStar.

AlphaStar имел несправедливое преимущество в своих первых играх

На прошлой неделе DeepMind пригласил двух профессионалов Стар Крафт игроки и дикторы предоставили комментарий, поскольку они воспроизводили некоторые из 10 игр AlphaStar против Wünsch и Komincz. Комментаторы были поражены «микро» возможностями AlphaStar — способностью принимать быстрые тактические решения в пылу битвы.

Эта способность была наиболее очевидна в игре 4 серии AlphaStar против Коминца. Коминц был сильнее двух игроков, с которыми сталкивался АльфаСтар, а Игра 4 была самой близкой к победе Коминца в серии из пяти игр. Климатическая битва игры объединила армию Коминца, состоящую из нескольких различных типов юнитов (в основном Бессмертных, Архонтов и Зилотов), против армии АльфаСтар, полностью состоящей из Сталкеров.

ИИ разбил двух профессионалов в StarCraft, но это был не честный бой

Сталкеры не имеют особо сильного оружия и доспехов, поэтому они обычно проигрывают Бессмертным и Архонту в схватке один на один. Но Сталкеры двигаются быстро, и у них есть способность, называемая «мигать», которая позволяет им телепортироваться на небольшое расстояние.

Это создало возможность для AlphaStar: он мог атаковать большой группой Сталкеров, заставить передний ряд сталкеров получить некоторый урон, а затем моргнуть им в тылу армии, прежде чем они были убиты. Щиты Сталкера постепенно перезаряжаются, поэтому, непрерывно вращая свои войска, AlphaStar смог нанести большой урон врагу, потеряв при этом очень мало своих юнитов.

Недостатком этого подхода является то, что он требует постоянного внимания игрока. Игрок должен следить за здоровьем Сталкеров, чтобы выяснить, какие из них нужно моргнуть. И это может быть сложно, потому что Стар Крафт У игрока часто есть много других вещей на его тарелке — ему нужно беспокоиться о создании новых юнитов на своей базе, разведке вражеских баз, наблюдении за атаками противника и так далее.

Комментаторы, наблюдающие за игрой 4 в бою между AlphaStar и Komincz, поражались микро-способностям AlphaStar.

«Мы продолжаем наблюдать, как AlphaStar делает то, о чем вы говорите», — сказал комментатор Дэн Стемкоски. AlphaStar будет атаковать юниты Коминца и «моргать», прежде чем получит значительный урон. «Я чувствую, что большинство профессионалов уже потеряли бы всех этих сталкеров», — добавил он.

Производительность AlphaStar была особенно впечатляющей, потому что в некоторые моменты он использовал эту тактику с несколькими группами Сталкеров в разных местах.

«Это невероятно сложно сделать в игре StarCraft II, где вы располагаете микроустройства на южной стороне экрана, но в то же время вы также должны делать это и на северной стороне, — сказал комментатор Кевин "RotterdaM" ван дер Коой. — Это феноменально хороший контроль ".

«Что действительно шокирует, так это то, что мы перебираем действия в минуту, и это не так уж и высоко», — добавил Стемкоски. «Это приемлемый профессиональный уровень скорости, выходящий из AlphaStar».

DeepMind создал графику, которая иллюстрирует это:

ИИ разбил двух профессионалов в StarCraft, но это был не честный бой

Как показывает этот график, сверху Стар Крафт игроки могут давать инструкции своим подразделениям очень быстро. Гжегож "МаНа" Коминц набирал в среднем 390 действий в минуту (более шести действий в секунду!) В течение его игр против AlphaStar. Но, конечно, компьютерная программа может легко выполнять тысячи действий в минуту, что позволяет ей контролировать уровень своих юнитов, с которым не может сравниться ни один игрок.