개발자 로빈 칼로(Robin Kahlow)가 10월 블로그 warlock.ai에 RTX 3090 GPU 1장을 단 데스크톱 한 대로 학습한 강화학습 에이전트가 워크래프트 III 내장 AI를 최고 난도 '인세인(insane)'에서 약 89% 승률로 이긴다고 공개했다. 코드는 MIT 라이선스로 GitHub에 올렸다.
핵심 정리
- 에이전트는 워크래프트 III 1.29 패치 Echo Isles 맵에서 게임 본래 규칙으로 인세인 내장 AI를 상대해 89% 승률을 냈다.
- 학습은 RTX 3090 1장과 CPU 16코어 데스크톱에서 84만 판, 게임 시간으로 약 11년 분량의 자기 대전(self-play)으로 이뤄졌다.
- 모델 가중치는 약 320만 개이며, 코드는 GitHub 저장소 warcraftsim에 MIT 라이선스로 공개됐다.
워크래프트 III AI, 데스크톱 한 대로 어떻게 학습했나
칼로가 공개한 warcraftsim 개발기에 따르면 학습 장비는 RTX 3090 1장과 CPU 16코어를 갖춘 데스크톱 한 대가 전부다. 별도 시뮬레이터를 만들지 않고 실제 게임을 윈도 프로그램을 리눅스에서 실행하는 Wine 위에서 돌렸다. 게임 시계를 가상 시계로 바꾸는 DLL을 끼워 넣어 파이썬이 응답할 때까지 매 단계 게임이 멈추도록 했다. 덕분에 게임 결과가 결정론적으로 재현된다.
게임 인스턴스 약 50개를 병렬로 띄우고 각각을 실제보다 약 15배 빠르게 돌려, 1시간에 게임 시간 약 730시간을 소화했다. 최적화를 거치며 초당 에이전트 처리 단계는 약 560에서 2,280으로 늘었다. 9월 27일부터 10월 18일까지 약 3주간 이어진 작업에서 에이전트는 84만 판, 게임 시간으로 11년 분량을 학습했다.
모델 구조와 학습 단계는
모델은 가중치 약 320만 개 규모로, 5층 트랜스포머와 순환 메모리(minGRU)를 결합했다. 게임 시간 0.5초마다 한 번씩 모든 유닛의 명령을 정하며, 추론은 CPU 4코어에서 단계당 13ms가 걸린다.
학습은 내장 AI의 플레이를 흉내 내는 행동 복제로 출발했다. 이어 과거의 자기 자신들과 내장 AI로 구성한 리그에서 자기 대전을 반복했다. 난도는 소규모 전투, 2분 대결 맵, 6분 게임, 자원 비용을 절반으로 줄이고 생산 속도를 3배로 높인 빠른 규칙의 Echo Isles를 거쳐 실제 규칙 순으로 높였다. 빠른 규칙으로만 학습한 에이전트는 처음 접한 실제 규칙에서 바로 49%를 이겼고, 추가 학습 끝에 89%에 도달했다.
89% 승률의 한계는
평가는 학습에 쓰지 않은 별도 테스트 게임으로 진행했으며, 대진별로 1,500판을 기준으로 삼았다. 에이전트는 휴먼·오크·언데드·나이트 엘프 4개 종족을 모두 다루고, 나이트 엘프로는 거의 모든 판을 이긴다. 휴먼과 언데드가 가장 약한 종족이다.
저자는 한계도 분명히 적었다. 값싼 유닛으로 초반에 몰아치는 단일 전략에 기대고, 패배는 대부분 긴 게임에서 나온다. 확장 기지, 중립 몬스터 사냥, 아이템, 용병 활용은 드물다. 상대해 본 실전 상대는 내장 AI뿐이며, 저자는 실력 있는 사람 플레이어가 에이전트가 만난 어떤 상대보다 훨씬 강하다고 밝혔다. 10월 18일 정정에서는 인세인 AI가 일반 플레이어보다 자원을 약 2배 빠르게 모은다는 점도 덧붙였다.
AlphaStar·OpenAI Five와 무엇이 다른가
게임 AI 연구는 그동안 대규모 연산 자원을 가진 연구소가 이끌었다. 칼로는 글에서 구글 딥마인드의 스타크래프트 II 에이전트 AlphaStar가 에이전트 12개를 TPU 32개씩으로 44일 동안 학습했고, OpenAI의 OpenAI Five는 10개월 동안 도타 2를 약 4만5,000년 분량 플레이했다고 비교했다. warcraftsim은 출시 20년이 넘은 실제 게임과 개인 PC만으로 비슷한 방향의 실험을 재현했다는 점에서 눈길을 끈다. 최근 사이트가 전한 Gemini 4 Argon 에이전트의 마인크래프트 공략이 거대 언어 모델 기반이라면, 이번 사례는 소형 정책망을 처음부터 학습시킨 방식이다.
전망: 사람 플레이어를 이길 수 있을까
칼로는 연구를 이어 가며 후속 글을 내겠다고 밝혔다. 다음 과제로 확장·사냥·아이템을 아우르는 다양한 전략, 약점을 찾아 공략하는 '익스플로이터' 에이전트 도입, 다른 래더 맵과 커스텀 맵 학습, 연산 규모 확대를 꼽았다. 최종 목표는 내장 AI가 아니라 실력 있는 사람 플레이어를 이기는 것이다.
자주 묻는 질문
warcraftsim은 누구나 써 볼 수 있나?
코드는 GitHub 저장소 RobinKa/warcraftsim에 MIT 라이선스로 공개돼 있다. 다만 블리자드 게임 파일은 포함하지 않아 워크래프트 III: 프로즌 쓰론 1.29 패치를 직접 갖고 있어야 한다. 우분투나 WSL2, Wine 환경이 필요하다.
이 AI는 사람 프로게이머보다 강한가?
아직 그렇다고 볼 근거는 없다. 에이전트가 이긴 상대는 게임 내장 AI뿐이며, 저자 스스로 실력 있는 사람 플레이어가 훨씬 강하다고 밝혔다. 전략도 초반 러시 하나에 치우쳐 있다.
학습에 GPU가 몇 장 필요했나?
RTX 3090 1장이다. CPU 16코어로 게임 약 50개를 동시에 돌려 학습 데이터를 만들었고, 약 3주간의 작업 동안 84만 판을 학습했다.
