미로 랩 3D

열쇠를 모아 문을 열고, 함정을 피해 출구까지 가는 큰 3D 미로를 Q-learning으로 학습시킵니다. 바닥의 색과 화살표로 학습된 가치와 정책을 볼 수 있고, 같은 미로를 직접 풀어 비교할 수도 있습니다.

Tabular Q-learning · Keys & Doors

––

가치 색상 정책 화살표 학습 속도 관전 속도

학습 곡선

점선은 최단 경로입니다. 위쪽 붉은 점은 출구에 도착하지 못한 평가입니다.

난이도 프리셋

미로 크기

미로 스타일

열쇠와 문2 열쇠를 순서대로 모아야 문이 열립니다. 상태 수가 열쇠마다 두 배가 됩니다.

함정 수12

지름길 수6 벽을 뚫어 길이 여러 갈래가 됩니다.

시드 –

학습률 α0.20

할인율 γ0.990

ε가 줄어드는 에피소드 수3000

걸음당 패널티0.04 0이면 돌아가도 손해가 없어 최단 경로를 찾기 어려워집니다.

환경 구성

상태: 에이전트가 있는 칸과 가진 열쇠 조합. 열쇠가 K개면 칸 수 × 2^K개의 상태가 됩니다.
행동: 위, 오른쪽, 아래, 왼쪽 (4개). 벽이나 잠긴 문으로 가면 제자리에 머뭅니다.
보상: 한 걸음 −(패널티), 벽·문에 부딪힘 −0.5 추가, 열쇠 첫 획득 +2, 출구 +10 (종료), 함정 −10 (종료)
과제 구조: 문은 출구로 가는 길의 필수 통로에 놓입니다. 열쇠 1은 첫 문 앞에, 열쇠 2는 첫 문과 둘째 문 사이에 있어서, 순서대로 모아야만 출구에 닿습니다.
갱신식: Q(s,a) ← Q(s,a) + α · (r + γ · max Q(s′,·) − Q(s,a))
정책: 학습 중에는 ε-greedy, 평가와 관전은 항상 greedy(가장 높은 Q 값)입니다.
화면: 바닥 색은 현재 가진 열쇠 기준으로 본 그 칸의 최대 Q 값(초록은 높음, 붉은색은 위험)이고, 화살표는 그 상태의 greedy 행동입니다. 열쇠를 먹으면 화면이 바뀝니다.
조작: 직접 플레이는 방향키·WASD 또는 화면의 방향 버튼을 쓰고, 3D 화면은 드래그로 회전, 휠이나 핀치로 확대합니다.