pqp

STS2 AI의 학습과 원본 게임 대조 검증 구분하기

비공식 STS2 AI 시스템을 구성하는 시뮬레이터 검증, 정책 학습, 추론 수읽기의 역할을 나누어 설명하고 공개 페이지에 보고된 벤치마크와 학습 스냅샷의 적용 범위를 안내합니다.

1. 왜 검증·학습·추론을 나누어 보아야 할까요

게임 AI 프로젝트를 살펴볼 때 가장 흔히 생기는 오해는 시뮬레이션 처리 속도, 강화학습 누적 진행량, 실제 게임 화면에서의 성능을 하나의 숫자로 섞어 읽는 것입니다. 시뮬레이터가 원본 게임 규칙과 다르게 움직이면 아무리 많은 판을 학습해도 엉뚱한 판단을 익히게 되고, 반대로 단일 전투 재생 속도가 빠르다고 해서 전체 학습이나 실게임 플레이가 똑같은 속도로 돌아가는 것도 아닙니다. portfolio.pqp.me/#sts2의 공개 설명을 바탕으로, 이 프로젝트가 시스템을 어떻게 나누고 각 단계의 수치를 어떤 범위에서 보고하는지 정리합니다.

2. 원본 게임과 Rust 시뮬레이터의 대조 검증

공개 설명에 따르면 프로젝트는 크게 규칙을 재현하는 Rust 시뮬레이터, 정책을 훈련하는 Rust/Burn 학습기, 게임 안에서 동작하는 C# 클라이언트 모드, 그리고 기록을 보여주는 대시보드로 나뉩니다. 이 가운데 학습의 출발점이 되는 것은 시뮬레이터가 원본 게임과 같은 상황에서 같은 결과를 내는지 확인하는 대조 검증입니다.

프로젝트가 보고한 솔로 대조 검사에서는 5개 캐릭터 기준 336판, 59,878개의 경계 접두 구간에서 회귀 0건을 기록했습니다. 세부 내역을 보면 335판은 끝까지 완주했고, 1판은 관측 인코딩 단계에서 차단되었습니다. 또한 2~4인 멀티플레이 48판에서는 18,840개 행동이 원본과 일치했습니다. 다만 이 결과는 검증된 시나리오와 조건 안에서 일관성을 확인한 수치일 뿐, 원본 게임의 모든 모드·카드 조합·무작위 시드에 결함이 전혀 없다는 뜻으로 일반화할 수는 없습니다.

3. 시뮬레이션 벤치마크와 정책 학습의 구분

시뮬레이터 검증이 규칙의 정확성을 확인하는 단계라면, 정책 학습은 수많은 가상 대국을 반복하며 행동 선택 확률을 조정하는 단계입니다. 공개 페이지에 보고된 과거 성능 측정에서는 i7-13700K 환경의 전투 전용 재생 벤치마크에서 스레드당 초당 961,835 결정을 처리했습니다. 하지만 이 수치는 117개 전투를 200회 반복한 측정이며, 런 전체 진행과 관측 인코딩 과정은 제외되어 있으므로 전체 학습 파이프라인의 처리량으로 해석해서는 안 됩니다.

누적 학습 규모 역시 특정 시점의 스냅샷으로 구분해 읽어야 합니다. portfolio.pqp.me/#sts2에 기록된 2026-11-08 기준 스냅샷에는 누적 698,573,584 결정, 1,234,084판, 3막 보스 격파 6판(모두 아이언클래드)이 적혀 있습니다. 이는 해당 날짜의 기록일 뿐 현재 실시간 수치가 아니며, 모든 캐릭터가 전반적으로 안정적인 클리어 수준에 도달했다는 의미도 아닙니다. 공개 대시보드(sts.pqp.me)에서는 이처럼 누적되는 학습 현황과 리플레이를 별도로 확인할 수 있습니다.

4. 실게임 추론과 한 턴 수읽기

학습이 끝난 뒤 실제 게임에 연결될 때는 학습 서버가 아닌 로컬 추론 엔진이 동작합니다. 공개 저장소(github.com/moooohung/sts2-pqp-ai-guide)의 README에 따르면, 공개된 코드에는 클라이언트 모드와 로컬 추론·시뮬레이션 엔진이 포함되어 있으며 학습 파이프라인, 트레이너, 서버, 모델 가중치, 원본 게임 에셋은 포함되어 있지 않습니다.

추론 시점에는 학습된 정책만 바로 쓰는 대신 한 턴 앞을 내다보는 수읽기를 결합할 수 있습니다. 프로젝트가 공개한 동일 시드 700판 짝 비교 측정에서는 추론 시점 한 턴 수읽기를 적용했을 때 평균 도달 층이 +2.0층 높아졌고, 3막 도달 비율이 6.6%에서 12.0%로 나타났습니다. 이 수치는 외부 기관의 독립 재현 결과가 아니라 프로젝트가 자체 실험 조건에서 공개한 측정값입니다.

구분 단계담당 구성 요소공개된 검증·측정 사례해석할 때 주의할 점
규칙 대조 검증Rust 시뮬레이터솔로 336판(335판 완주·1판 인코딩 차단, 회귀 0), 멀티 48판 18,840행동 일치원본 게임 전체의 무결점 증명이 아니며 모든 시드·모드를 보장하지 않음
속도 벤치마크전투 재생 엔진i7-13700K 기준 스레드당 961,835 결정/초 (117전투×200회)런 진행·관측 인코딩을 제외한 순수 전투 재생 측정치임
정책 강화학습Rust/Burn 학습기2026-11-08 스냅샷 기준 누적 698,573,584 결정, 1,234,084판, 3막 보스 격파 6판과거 스냅샷 수치이며 현재 실시간 지표나 안정적 클리어 보장이 아님
실게임 추론C# 모드 + 로컬 엔진동일 시드 700판 짝 비교 시 한 턴 수읽기로 평균 +2.0층, 3막 도달 6.6%→12.0%프로젝트가 공개한 실험 결과이며 외부 재현 검증 수치와 구분해야 함

5. 측정 범위와 남은 한계

정리하면, STS2 AI의 수치는 ① 규칙 일치 여부를 확인하는 대조 검사, ② 제한된 조건의 연산 속도 벤치마크, ③ 특정 날짜의 누적 학습 스냅샷, ④ 동일 시드 비교 실험이라는 서로 다른 맥락에서 나온 값입니다. 특히 2026-11-08 스냅샷의 3막 보스 격파 사례가 모두 아이언클래드에 집중되어 있듯 캐릭터별 성취 편차가 존재하며, 공개 저장소에는 학습기와 가중치가 분리되어 있습니다. 따라서 각 수치를 볼 때는 언제, 어떤 조건에서 측정된 값인지 함께 확인하는 것이 중요합니다.