콘텐츠로 이동
Search

WorldModels:Tutorial:14-Appendix

lastmod 2026-11-18created 2026-11-172 edits

부록: 디버깅 · 용어집 · 다음 걸음은 World Model 튜토리얼의 14장이다. World Model 을 직접 만들다가 손실이 NaN 이 되거나, 재구성이 흐리거나, 상상 속에서는 잘하는데 실제로는 못하는 에이전트를 만났을 때 찾아보는 참고 자료를 모았다. 디버깅 점검 순서와 증상별 처방, 수치 안정성 공식의 유도, 원 논문과 튜토리얼의 하이퍼파라미터, 장별 핵심 수식, 한영 용어집, 논문 읽는 순서, 공개 구현, 자주 묻는 질문, 후속 프로젝트를 담는다.

처음 30분 점검 순서

World Model 은 부품(인코더 · 동역학 · 디코더 · 보상 · 정책)이 많고 강화학습은 결과의 분산이 커서 틀린 곳을 찾기 어렵다. 무언가 이상하면 하이퍼파라미터를 바꾸기 전에 다음 순서로 점검한다. 대부분의 버그는 앞의 세 단계에서 잡힌다.

  1. 데이터를 눈으로 본다. 관측 그림 몇 장을 저장해 열어 보고 값의 최솟값 · 최댓값 · 평균을 출력한다. 그림이 0–255 인지 0–1 인지, 행동의 범위(환경은 [−2, 2], 11 · 12장 에이전트의 출력은 [−1, 1])가 맞는지 확인한다.
  2. 모양(shape)을 확인한다. 텐서마다 기대하는 모양을 주석으로 적고 assert 로 확인한다. 특히 시간 축 \(T\) 와 배치 축 \(B\) 의 순서, 관측(\(T+1\) 개)과 행동(\(T\) 개)의 짝을 본다.
  3. 아주 작은 데이터에 과적합시켜 본다. 배치 하나(예: 시퀀스 4개)만 반복해서 학습시키면 손실이 거의 0 까지 내려가야 한다. 안 내려가면 모델이나 손실 코드에 버그가 있다.
  4. 손실을 항별로 따로 기록한다. 재구성 · 보상 · KL · 액터 · 크리틱을 합친 값만 보면 어느 항이 문제인지 알 수 없다.
  5. 기준 점수와 비교한다. "다음 상태 = 지금 상태" 로 예측하는 모델, 무작위 정책의 리턴 같은 단순한 기준 점수보다 나은지 본다(5 · 6장의 기준 점수).
  6. 기울기의 크기를 기록한다. 기울기 노름이 0 이면 기울기가 끊긴 것이고(.detach() 실수), 갑자기 수천으로 튀면 폭발이다.
  7. 시드를 고정하고 여러 시드로 돌린다. 한 시드의 좋은 결과는 운일 수 있다. 3 – 5개 시드의 평균과 범위를 본다.
  8. 그다음에야 하이퍼파라미터를 바꾼다. 한 번에 하나씩, 학습률부터 바꾼다.

위 점검을 코드로 옮긴 조각이다. 학습 루프 안에 넣어 두면 문제를 일찍 잡는다.

import random
import numpy as np
import torch

def set_seed(seed):
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)          # CPU · GPU 모두

def check(name, x, shape=None):
    """모양과 유한성(NaN · inf 없음)을 확인한다."""
    if shape is not None:
        assert tuple(x.shape) == tuple(shape), f"{name}: {tuple(x.shape)} != {shape}"
    assert torch.isfinite(x).all(), f"{name} 에 NaN 또는 inf 가 있습니다"

def grad_norm(model):
    """모든 매개변수 기울기를 한 벡터로 이었을 때의 길이."""
    total = 0.0
    for p in model.parameters():
        if p.grad is not None:
            total += p.grad.detach().pow(2).sum().item()
    return total ** 0.5

# 학습 루프 안에서
# check("obs", obs, (B, L, 64, 64))   # 11장의 배치: 길이 L, 채널 축 없음
# loss.backward()
# print("grad norm", grad_norm(model))
# torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=100.0)

# NaN 이 어디서 처음 생기는지 찾을 때만 켠다 (느려진다)
# torch.autograd.set_detect_anomaly(True)

가장 흔한 조용한 버그: 브로드캐스팅

예측 pred 의 모양이 (B, 1) 이고 목표 target 이 (B,) 이면 (pred - target) ** 2 는 오류 없이 (B, B) 행렬이 된다. 모든 예측이 모든 목표와 비교되어 모델은 평균만 예측하도록 배운다. 손실은 줄어드는 것처럼 보여서 알아채기 어렵다. 손실을 계산하기 직전에 두 텐서의 모양이 같은지 확인한다.

증상, 원인, 처방

자주 만나는 증상을 부품별로 모은 표다. "관련 장" 의 숫자는 자세한 설명과 유도가 있는 튜토리얼의 장 번호다.

데이터 · 모양

증상

흔한 원인

처방

관련 장

손실이 처음부터 터무니없이 크거나 작다

입력을 정규화하지 않았거나 두 번 했다. 그림을 0–255 그대로 넣었다

입력의 범위를 출력해 본다. 그림은 /255 (−0.5), 숫자 상태는 표준화

06 · 08

모델이 늘 비슷한 값(평균)만 예측한다

브로드캐스팅으로 손실이 (B, B) 가 됨. 입력과 목표의 짝이 어긋남

손실 직전 모양 확인, 데이터 몇 개를 손으로 대조

04

예측이 한 스텝씩 밀려 있다

관측은 \(T{+}1\) 개, 행동 · 보상은 \(T\) 개인데 인덱스를 잘못 짝지음

\((o_t, a_t) \to o_{t+1}\), \(r_t\) 의 짝을 그림으로 확인 (collect_episodes 의 설명)

06 · 11

합성곱 층에서 모양 오류

그림이 (B, H, W, C) 인데 PyTorch 는 (B, C, H, W) 를 기대

permute 또는 unsqueeze(1)(흑백)

04 · 08

각도 ±π 근처에서 예측이 튄다

각도 \(\theta\) 를 그대로 입력 · 출력해 \(\pi\) 와 \(-\pi\) 가 멀리 떨어진 숫자가 됨

\((\cos\theta, \sin\theta)\) 로 표현

06

수치 안정성

증상

흔한 원인

처방

관련 장

손실이 NaN · inf 가 된다

\(\log 0\), \(e^{x}\) 넘침, 표준편차 0, 학습률이 너무 큼

아래 "NaN 을 막는 수치 안정성 공식" 절의 안정 공식(softplus, 로짓 BCE)과 9장의 logsumexp, 최소 표준편차, 기울기 자르기, set_detect_anomaly

02 · 09

가우시안 NLL 이 끝없이 내려간다(−∞ 쪽으로)

예측 표준편차 \(\sigma \to 0\) 으로 몇 점에 과적합

\(\sigma = \operatorname{softplus}(x) + \sigma_{\min}\), \(\log\sigma^2\) 의 범위를 제한

07 · 11

MDN 학습 중 갑자기 NaN

혼합 가중치의 \(\log\sum\exp\) 를 그대로 계산해 넘침

torch.logsumexp 사용, \(\log\sigma\) 범위 제한

09

BCE 가 inf

sigmoid 를 먼저 하고 \(\log\) 를 취해 \(\log 0\)

로짓을 받아 바로 계산하는 binary_cross_entropy_with_logits

08

학습 동역학

증상

흔한 원인

처방

관련 장

손실이 전혀 줄지 않는다

학습률이 너무 작음, 기울기가 끊김(.detach(), torch.no_grad), 옵티마이저에 매개변수를 안 넣음

작은 데이터 과적합 시험, 기울기 노름 기록, optimizer.param_groups 확인

04

손실이 튀다가 발산한다

학습률이 곡률에 비해 큼(\(\eta \gt 2/a\)), RNN 의 기울기 폭발

학습률을 1/3 씩 줄이기, 기울기 자르기

04 · 09

학습 손실은 주는데 새 데이터에서 나빠진다

과적합(데이터가 적음)

데이터 더 모으기, 검증 손실로 조기 종료, 가중치 감쇠, 모델 줄이기

06

시드마다 결과가 크게 다르다

강화학습의 높은 분산, 초기 데이터의 운

여러 시드의 평균 · 범위로 판단, 평가 에피소드 늘리기

05

잠재 변수 모델 (VAE · RSSM)

증상

흔한 원인

처방

관련 장

KL 이 0 에 붙고 재구성은 늘 같은 “평균 그림”

사후 붕괴: 디코더가 잠재를 무시함, KL 가중치가 큼

β 줄이기, KL 가중치를 0 에서 서서히 올리기(warm-up), 자유 내트(free nats) · 자유 비트(free bits)

08 · 11 · 12

재구성이 흐리다

MSE 가 가능한 그림들의 평균을 맞힘, 디코더 용량 부족, β 가 큼

디코더 키우기, β 조정, 여러 갈래를 표현하는 모델(MDN · 확률적 잠재 · 확산)

08 · 09 · 13

재구성은 좋은데 상상(사전) 롤아웃이 엉망

사후 분포만 잘 배우고 전이(사전)가 따라오지 못함

열린 고리 상상 그림으로 점검, KL 균형, 학습 더 하기, 잠재 과대 예측

11 · 12

작은 물체(진자 막대)가 재구성에서 사라진다

그림 대부분이 배경이라 그 물체가 손실에서 차지하는 몫이 작음

해상도 · 디코더 용량 늘리기, 결과 그림을 늘 눈으로 확인

08

KL 이 줄지 않고 계속 크다

사전이 사후를 따라잡지 못함, 표준편차 하한이 너무 작음

KL 균형(사전 쪽에 더 큰 가중치), 최소 표준편차 조정

12

예측 · 계획 · 정책

증상

흔한 원인

처방

관련 장

한 스텝 예측은 좋은데 여러 스텝에서 발산

오차 누적(립시츠 상수 \(L \gt 1\) 이면 오차가 지수적으로 큼)

여러 스텝 손실로 학습, 변화량 \(\Delta o\) 예측, 앙상블, 상상 길이 줄이기

06

상상 속 리턴은 높은데 실제 리턴은 낮다

모델 착취: 정책이 모델의 틀린 곳을 이용

앙상블 불확실성 벌점, 짧은 상상, 데이터 더 모으기, 꿈의 온도 높이기

10 · 12

MPC 가 너무 느리다

후보 수 × 상상 길이 × 반복 횟수만큼 모델을 돌림

GPU 에서 후보를 한 배치로, 후보 줄이기, 지난 해를 한 칸 밀어 시작점으로(warm start), 정책 사전 · 가치로 상상 길이 줄이기

07 · 13

액터의 행동이 늘 ±최대값

tanh 포화, 엔트로피가 너무 빨리 줄어듦

엔트로피 보너스 키우기, 행동 범위 · 스케일 확인

12

크리틱 손실이 계속 커진다

보상 크기가 큼, 목표가 계속 움직임

보상 스케일 줄이기(11장은 0.1 배), 느린(목표) 크리틱, symlog · two-hot · 리턴 정규화

11 · 12

과제마다 설정을 다시 맞춰야 한다

보상 · 리턴의 크기에 민감한 설계

DreamerV3 의 symlog, 리턴 정규화(백분위)

12

NaN 을 막는 수치 안정성 공식

float32 는 약 \(3.4 \times 10^{38}\) 보다 큰 수를 담지 못하고 inf 가 된다. \(e^{89} \approx 4.5 \times 10^{38}\) 이므로 지수 함수는 쉽게 넘친다. 아래는 PyTorch 의 안정 함수들이 내부에서 쓰는 공식의 유도다.

안정적인 softplus

정의 \(\operatorname{softplus}(x) := \log(1 + e^{x})\) 는 \(x\) 가 크면(예: \(x = 1000\)) \(e^x\) 가 넘쳐 inf 가 된다. 경우를 나누어 \(e^x\) 를 묶어 낸다.

\(\begin{align} x \ge 0: \quad \log(1 + e^{x}) &= \log\big(e^{x}(e^{-x} + 1)\big) = x + \log(1 + e^{-x}) \\ x \lt 0: \quad \log(1 + e^{x}) &= 0 + \log(1 + e^{-\lvert x\rvert}) \end{align}\)

두 경우를 한 식으로 합치면 다음과 같다.

\(\operatorname{softplus}(x) = \max(x, 0) + \log\big(1 + e^{-\lvert x\rvert}\big)\)

지수에 들어가는 값이 늘 0 이하라 어떤 \(x\) 에서도 넘치지 않는다. \(x = 1000\) 이면 \(1000 + \log(1 + e^{-1000}) = 1000\) 으로 정확히 계산된다.

로짓으로 계산하는 이진 교차 엔트로피

8장의 베르누이 디코더처럼 확률 \(p = \sigma(x)\) 를 신경망의 로짓 \(x\) 로 낼 때, \(\sigma(x)\) 를 먼저 계산하고 \(\log\) 를 취하면 \(\sigma(x)\) 가 0 으로 반올림되어 \(\log 0 = -\infty\) 가 된다. 로짓에서 바로 계산하는 식은 다음 순서로 나온다.

\(\begin{align} \log \sigma(x) &= \log\frac{1}{1 + e^{-x}} = -\log(1 + e^{-x}) = -\operatorname{softplus}(-x) \\ \log\big(1 - \sigma(x)\big) &= \log\frac{e^{-x}}{1 + e^{-x}} = \log\frac{1}{e^{x} + 1} = -\operatorname{softplus}(x) \\ \operatorname{softplus}(-x) &= \log(1 + e^{-x}) = \log\big(e^{-x}(e^{x} + 1)\big) = -x + \operatorname{softplus}(x) \end{align}\)

2장의 BCE 정의에 앞의 두 결과를 넣으면 부호가 상쇄된다.

\(\text{BCE} = -\big[y \log\sigma(x) + (1 - y)\log(1 - \sigma(x))\big] = y\,\operatorname{softplus}(-x) + (1 - y)\,\operatorname{softplus}(x)\)

셋째 줄을 넣어 정리한 결과다.

\(\text{BCE}(x, y) = y\big(\operatorname{softplus}(x) - x\big) + (1 - y)\operatorname{softplus}(x) = \operatorname{softplus}(x) - y\,x\)

  • \(\log 0\) 이 생길 자리가 없고, softplus 를 위의 안정 공식으로 계산하므로 어떤 로짓에서도 유한하다. PyTorch 의 binary_cross_entropy_with_logits 가 이렇게 계산한다.
  • 예: \(x = 50\), \(y = 0\) 이면 \(\sigma(50)\) 은 float32 로 정확히 1 이 되어 \(\log(1 - 1) = -\infty\) 지만, 이 식은 \(\operatorname{softplus}(50) - 0 = 50\) 을 준다.

기울기 자르기

clip_grad_norm_(params, max_norm=c) 는 기울기 벡터 \(g\)(모든 매개변수의 기울기를 한 줄로 이은 것)에 양수 하나를 곱한다.

\(g' = g \cdot \min\!\Big(1,\ \frac{c}{\lVert g \rVert}\Big)\)

  • \(\lVert g \rVert \le c\) 이면 \(c/\lVert g\rVert \ge 1\) 이라 \(\min(\cdot) = 1\) 이고 \(g' = g\) 다.
  • \(\lVert g \rVert \gt c\) 이면 \(\lVert g' \rVert = \frac{c}{\lVert g \rVert}\,\lVert g \rVert = c\) 다(양수 \(k\) 를 곱하면 길이도 \(k\) 배).

\(\lVert g' \rVert = \min(\lVert g \rVert,\ c), \qquad \frac{g'}{\lVert g' \rVert} = \frac{g}{\lVert g \rVert}\)

양수를 곱했으므로 방향은 그대로이고 길이만 \(c\) 를 넘지 않는다. 예: \(g = (30, 40)\), \(c = 10\) 이면 \(\lVert g\rVert = 50\), \(g' = (30, 40) \times \frac{10}{50} = (6, 8)\). 내려가는 방향은 맞지만 너무 멀리 뛰는 스텝만 줄인다.

표준편차의 하한과 NLL 의 바닥

1차원 가우시안 NLL 은 2장에서 유도한 로그 밀도의 부호를 바꾼 것이다.

\(\text{NLL} = \frac{(y - \mu)^2}{2\sigma^2} + \log\sigma + \frac{1}{2}\log(2\pi)\)

첫 항은 0 이상이고 예측이 정확히 맞으면(\(y = \mu\)) 0 이므로 \(\text{NLL} \ge \log\sigma + \frac{1}{2}\log(2\pi)\) 다. \(\log\) 는 증가 함수이므로 하한을 두면 바닥이 생긴다.

\(\sigma \ge \sigma_{\min} \;\Rightarrow\; \text{NLL} \ge \log\sigma_{\min} + \frac{1}{2}\log(2\pi)\)

  • 하한이 없으면 모델은 맞힌 점에서 \(\sigma \to 0\) 으로 보내 \(\log\sigma \to -\infty\) 로 손실을 끝없이 줄일 수 있다.
  • \(\sigma_{\min} = 0.1\) 이면 바닥은 \(-2.303 + 0.919 = -1.384\) 다.
  • 7장의 min_logvar 와 9장의 log_sigma.clamp(-7, 2) 가 이 역할을 한다. 11장의 min_std = 0.1 은 같은 생각을 잠재 분포의 \(\sigma\) 에 쓴 것이다.

하이퍼파라미터 참고표

원 논문의 값은 그 논문의 환경과 규모에서 잘 된 값이므로 출발점으로 삼는다. 같은 논문이라도 판(version)과 공식 코드에 따라 값이 다를 수 있으니, 정확한 재현이 필요하면 원문 부록과 공식 코드의 설정 파일을 확인한다.

원 논문의 값

방법

모델

학습

계획 · 행동 학습

데이터 수집

PETS
Chua et al., 2018
1805.12114

확률적 신경망 앙상블 5개 (완전 연결층 3개, 층당 500 단위(HalfCheetah 는 250), Swish)

가우시안 NLL, \(\log\sigma\) 상 · 하한

CEM-MPC, 궤적 표본 전파 입자 20개 (계획 길이 · 후보 수 · 정예 수는 논문 본문에 없고 공개 코드에서 과제마다 정함)

에피소드마다 모델 다시 학습

World Models
Ha & Schmidhuber, 2018
1803.10122

VAE \(z\) 32차원(Doom 64), 64×64 컬러 · MDN-RNN: LSTM 256(Doom 512), 가우시안 5개

VAE → MDN-RNN → 컨트롤러 순서로 따로 학습

선형 컨트롤러(CarRacing 867개 매개변수), CMA-ES 개체 64, 개체마다 16 롤아웃 · Doom 꿈 학습 온도 \(\tau = 1.15\)

무작위 정책 롤아웃 10,000개

PlaNet
Hafner et al., 2019
1811.04551

RSSM: \(h\) 200(GRU), \(z\) 30

배치 50 × 길이 50, Adam 학습률 \(10^{-3}\), \(\epsilon = 10^{-4}\), 기울기 자르기 1000, 자유 내트 3

CEM: 계획 길이 12, 반복 10, 후보 1000, 정예 100

시드 에피소드 5, 학습 100번마다 1 에피소드, 탐험 잡음 \(\mathcal{N}(0, 0.3^2)\), 행동 반복 2 – 8

Dreamer (V1)
Hafner et al., 2020
1912.01603

PlaNet 과 같은 RSSM (200 / 30)

학습률 모델 \(6 \times 10^{-4}\), 액터 · 가치 \(8 \times 10^{-5}\), 기울기 자르기 100, 자유 내트 3

상상 길이 \(H = 15\), \(\gamma = 0.99\), \(\lambda = 0.95\), 동역학 역전파로 액터 학습

행동 반복 2, 탐험 잡음 0.3

DreamerV2 (Atari)
Hafner et al., 2021
2010.02193

범주형 잠재 32개 × 클래스 32, GRU 600

KL 균형 \(\alpha = 0.8\), KL 가중치 0.1 (연속 제어 1.0), 학습률 모델 \(2\times10^{-4}\) · 액터 \(4\times10^{-5}\) · 크리틱 \(10^{-4}\), 배치 50 × 길이 50 (arXiv v4 부록 표 D.1)

\(H = 15\), \(\gamma = 0.999\) (본문 2.1절의 값. 같은 논문의 부록 표에는 0.995 로 적혀 있음), \(\lambda = 0.95\), 엔트로피 \(10^{-3}\) (연속 제어 \(10^{-4}\)), REINFORCE 경사, 느린 크리틱 100번마다

Atari 표준 설정(프레임 건너뛰기 4)

DreamerV3
Hafner et al., 2023 · Nature 2025
2301.04104

범주형 잠재 32 × 32 + unimix 1%, 크기별 모델(작은 것 ~ 수억 매개변수)

자유 비트(free bits) 1, KL 가중치 \(\beta_{\text{rep}} = 0.1\) · \(\beta_{\text{dyn}}\) 은 판에 따라 다름(arXiv 초판 v1, 2023년 1월: 0.5 / 개정판 v2, 2024년 4월: 1), symlog · two-hot, 배치 16 × 64, 학습률도 판에 따라 다름(초판 모델 \(10^{-4}\) · 액터 · 크리틱 \(3\times10^{-5}\), 개정판 \(4\times10^{-5}\))

\(H = 15\), 할인 지평 333(\(\gamma \approx 0.997\)), \(\lambda = 0.95\), 엔트로피 \(3\times10^{-4}\), 리턴 정규화(5 – 95 백분위), 크리틱 EMA

모든 영역에서 같은 설정 을 쓰는 것이 핵심

이 튜토리얼의 설정

개인 컴퓨터에서 몇 분에서 수십 분 안에 돌도록 줄인 값이다. 각 실습 파일의 argparse 기본값과 Config 에서 바꿀 수 있다.

장 · 파일

주요 설정

06 · ch06_dynamics.py

무작위 에피소드 50개, 100 에폭

07 · ch07_mpc.py

계획 길이 25, 랜덤 슈팅 후보 1000, CEM 후보 400 · 정예 40 · 반복 5, 반복 학습 8회

07 · ch07_pets.py

앙상블 5개(은닉 128), 후보 200, 입자 10, 계획 길이 25

08 · ch08_vae.py

\(z\) 32차원, \(\beta = 1\), 에피소드 200개, 10 에폭

09 · ch09_mdn_rnn.py

LSTM 256, 가우시안 5개, 6000 스텝

10 · ch10_world_models.py

컨트롤러 \(a = 2\tanh(W[z; h] + b)\) (289개 매개변수), CMA-ES 60세대 · 개체 32 · 롤아웃 4 · \(\sigma_0 = 0.1\), 꿈 온도 0.1 · 1.0 · 1.5

11 · ch11_rssm_planet.py

\(h\) 200, \(z\) 30, 배치 50 × 50, 학습률 \(6\times10^{-4}\), 기울기 자르기 100, 자유 내트 3, 보상 × 0.1, CEM 12 · 1000 · 10 · 100, 행동 반복 2, 시드 에피소드 5, 탐험 잡음 0.3

12 · ch12_dreamer.py

11장 설정 + \(H = 15\), \(\gamma = 0.99\), \(\lambda = 0.95\), 액터 · 크리틱 학습률 \(8\times10^{-5}\), 엔트로피 \(10^{-4}\), 느린 크리틱 100번마다, 액터 · 크리틱 MLP 300 × 3

13 · ch13_diffusion_toy.py

잡음 단계 100, \(\beta\) 0.0001 → 0.15, MLP 256 × 3, 8000 스텝

무엇부터 바꿀까

  • 잘 안 될 때 효과가 큰 순서는 대략 ① 데이터 양(에피소드 · 학습 스텝 수), ② 학습률, ③ 모델 크기, ④ KL 관련 값(β · 자유 내트), ⑤ 상상 · 계획 길이다.
  • 할인율 \(\gamma\) 는 몇 스텝 앞까지 보는지를 정하므로(\(\frac{1}{1-\gamma}\) 스텝 정도, 5장) 과제의 시간 규모에 맞춘다. 12장의 진자는 행동 반복 2 로 100번 결정하므로 \(\gamma = 0.99\)(약 100 스텝)이면 충분하다.

장별 핵심 수식 모음

튜토리얼에서 유도한 핵심 식을 장 순서로 모은 표다. 유도 과정은 각 장 문서에 있고, 기호는 튜토리얼 00장의 표기 규칙을 따른다.

기초 체력 (02 – 05장)

식

뜻

장

\(p(y \mid x) = \dfrac{p(x \mid y)\,p(y)}{p(x)}\)

베이즈 정리

02

\(p(x_{1:N}) = \prod_{i=1}^{N} p(x_i \mid x_{1:i-1})\)

확률의 연쇄 법칙(곱셈 법칙을 되풀이한 것)

02

\(\mathbb{E}[X] = \sum_y p(y)\,\mathbb{E}[X \mid y]\)

전체 기댓값의 법칙 (경우를 나눠 평균 내기. 5장 벨만 방정식 유도에 쓴다)

02

\(\operatorname{Var}[X] = \mathbb{E}[X^2] - (\mathbb{E}[X])^2\), \(\ \operatorname{Var}[aX + b] = a^2\operatorname{Var}[X]\)

분산의 성질

02

\(\log \mathcal{N}(x; \mu, \sigma^2) = -\tfrac12\log(2\pi) - \log\sigma - \dfrac{(x-\mu)^2}{2\sigma^2}\)

가우시안 로그 밀도

02

\(\hat\mu = \tfrac{1}{N}\sum_i x_i\), \(\ \hat\sigma^2 = \tfrac1N\sum_i (x_i - \hat\mu)^2\)

가우시안 최대우도 추정

02

\(\operatorname*{arg\,min}_\theta \text{NLL} = \operatorname*{arg\,min}_\theta \text{MSE}\) (\(\sigma\) 고정)

MSE 는 고정 분산 가우시안의 NLL

02

\(\text{BCE} = -[y\log p + (1-y)\log(1-p)]\), \(\ \text{CE} = -l_y + \log\sum_j e^{l_j}\)

베르누이 · 범주형 NLL

02

\(H(p) = -\sum_x p(x)\log p(x)\), \(\ H(p, q) = -\sum_x p(x)\log q(x)\)

엔트로피, 교차 엔트로피

03

\(D_{\mathrm{KL}}(p\,\Vert \,q) = H(p, q) - H(p) = \mathbb{E}_p\!\big[\log\tfrac{p}{q}\big] \ge 0\)

KL 발산과 그 성질

03

\(D_{\mathrm{KL}}\big(\mathcal{N}(\mu_1,\sigma_1^2)\,\Vert \,\mathcal{N}(\mu_2,\sigma_2^2)\big) = \log\tfrac{\sigma_2}{\sigma_1} + \dfrac{\sigma_1^2 + (\mu_1-\mu_2)^2}{2\sigma_2^2} - \tfrac12\)

두 가우시안의 KL

03

\(f(\mathbb{E}[X]) \ge \mathbb{E}[f(X)]\) (\(f\) 오목)

젠센 부등식

03

\(\dfrac{dy}{dx} = \dfrac{dy}{du}\cdot\dfrac{du}{dx}\)

연쇄 법칙 (역전파의 바탕)

04

\(\theta \leftarrow \theta - \eta\,\nabla_\theta L\), \(\ 0 \lt \eta \lt 2/a\)

경사 하강법과 수렴 조건(곡률 \(a\))

04

\(\sigma'(z) = \sigma(z)(1 - \sigma(z))\), \(\ \tanh'(z) = 1 - \tanh^2 z\)

활성 함수의 미분

04

\(G_t = \sum_{k \ge 0}\gamma^k r_{t+k} = r_t + \gamma G_{t+1}\), \(\ \sum_{k\ge0}\gamma^k = \dfrac{1}{1-\gamma}\)

할인된 리턴과 그 재귀식

05

\(V^\pi(s) = \sum_a \pi(a\mid s)\sum_{s'}p(s'\mid s,a)\big[r(s,a,s') + \gamma V^\pi(s')\big]\)

벨만 기대 방정식

05

\(V^\ast(s) = \max_a \sum_{s'}p(s'\mid s,a)\big[r(s,a,s') + \gamma V^\ast(s')\big]\)

벨만 최적 방정식 (가치 반복의 바탕)

05

\(\nabla_\psi J = \mathbb{E}_{\tau}\big[R(\tau)\sum_t \nabla_\psi\log\pi_\psi(a_t\mid s_t)\big]\)

정책 경사 정리 (로그 미분 트릭, REINFORCE)

05

첫 World Model (06 – 07장)

식

뜻

장

\(I = \tfrac13 ml^2\), \(\ \ddot\theta = \dfrac{3g}{2l}\sin\theta + \dfrac{3}{ml^2}u\)

진자의 관성 모멘트와 운동 방정식

06

\(\dot\theta \leftarrow \dot\theta + \ddot\theta\,\Delta t\), \(\ \theta \leftarrow \theta + \dot\theta\,\Delta t\)

(반암시적) 오일러 적분

06

\(\tilde x = (x - \mu)/\sigma\)

표준화

06

\(e_k \le \varepsilon\,\dfrac{L^k - 1}{L - 1}\)

열린 고리 롤아웃의 오차 누적 상한

06

\(a^\ast_{t:t+H-1} = \operatorname*{arg\,max} \sum_{k=0}^{H-1} r(\hat o_{t+k}, a_{t+k})\), \(\ \hat o_{t+k+1} = f_\theta(\hat o_{t+k}, a_{t+k})\)

MPC 의 계획 목표

07

\(\mu \leftarrow \tfrac{1}{K}\sum_{k \in \text{정예}} a^{(k)}\), \(\ \sigma^2 \leftarrow \tfrac1K\sum_k (a^{(k)} - \mu)^2\)

CEM: 정예로 가우시안 다시 맞추기(최대우도)

07

\(\mathcal{L}(\mu, s) = (y - \mu)^2 e^{-s} + s\), \(\ s = \log\sigma^2\)

분산까지 예측하는 가우시안 NLL (상수 · ½ 생략, PETS)

07

\(\operatorname{Var}[y] = \tfrac1E\sum_e \sigma_e^2 + \tfrac1E\sum_e(\mu_e - \bar\mu)^2\)

앙상블의 불확실성 = 우연적(분산의 평균) + 인식적(평균의 퍼짐)

07

그림을 보는 World Model (08 – 10장)

식

뜻

장

\(p_\theta(x) = \int p_\theta(x\mid z)\,p(z)\,dz\)

잠재 변수 모델의 주변 가능도

08

\(\log p_\theta(x) \ge \mathbb{E}_{q_\phi(z\mid x)}[\log p_\theta(x\mid z)] - D_{\mathrm{KL}}(q_\phi(z\mid x)\,\Vert \,p(z))\)

ELBO

08

\(\log p_\theta(x) = \text{ELBO} + D_{\mathrm{KL}}(q_\phi(z\mid x)\,\Vert \,p_\theta(z\mid x))\)

ELBO 와 진짜 로그 가능도의 차이

08

\(z = \mu + \sigma\odot\epsilon\), \(\ \epsilon\sim\mathcal{N}(0, I)\)

재매개변수화 트릭

08

\(D_{\mathrm{KL}}(\mathcal{N}(\mu,\sigma^2)\,\Vert \,\mathcal{N}(0,1)) = \tfrac12(\mu^2 + \sigma^2 - 1 - \log\sigma^2)\)

VAE 의 KL 항(차원별로 더함)

08

\(\dfrac{\partial L_T}{\partial h_k} = \dfrac{\partial L_T}{\partial h_T}\prod_{t=k+1}^{T}\operatorname{diag}(1 - h_t^2)\,W_h\)

RNN 의 먼 과거 기울기(소실 · 폭발의 원인)

09

\(\log p(y\mid x) = \operatorname{logsumexp}_k\big(\log\pi_k + \log\mathcal{N}(y;\mu_k,\sigma_k^2)\big)\)

혼합 밀도 네트워크의 로그 가능도

09

\(\log\sum_k e^{a_k} = m + \log\sum_k e^{a_k - m}\), \(\ m = \max_k a_k\)

log-sum-exp 안정화

09

\(a_t = 2\tanh(W_c[z_t; h_t] + b_c)\)

이 튜토리얼의 컨트롤러 (Ha 의 선형 컨트롤러 \(W_c[z_t; h_t] + b_c\) 에 토크 범위를 맞추는 \(2\tanh\) 를 씌운 것)

10

\(\nabla_\theta\,\mathbb{E}_\epsilon[F(\theta + \sigma\epsilon)] = \tfrac{1}{\sigma}\mathbb{E}_\epsilon[F(\theta + \sigma\epsilon)\,\epsilon]\)

진화 전략의 기울기 추정 (가우시안 평활화)

10

\(C_\mu = \sum_{i=1}^{\mu} w_i\, y_{i:\lambda}\, y_{i:\lambda}^\top\)

CMA-ES: 잘된 스텝들로 공분산 다시 맞추기(가중 최대우도)

10

상상 속 학습과 현대 모델 (11 – 13장)

식

뜻

장

\(h_t = f(h_{t-1}, z_{t-1}, a_{t-1})\), \(\ z_t \sim p(z_t\mid h_t)\), \(\ z_t \sim q(z_t\mid h_t, o_t)\)

RSSM 의 결정 · 사전 · 사후 경로

11

\(\sum_t \Big(\mathbb{E}_q[\log p(o_t\mid h_t,z_t)] + \mathbb{E}_q[\log p(r_t\mid h_t,z_t)] - \mathbb{E}_q\big[D_{\mathrm{KL}}(q(z_t\mid h_t,o_t)\,\Vert \,p(z_t\mid h_t))\big]\Big)\)

순차 ELBO

11

\(\max(D_{\mathrm{KL}}, c)\)

자유 내트(free nats)

11

\(V^\lambda_t = \hat r_t + \gamma\big[(1-\lambda)\,v(s_{t+1}) + \lambda\,V^\lambda_{t+1}\big]\)

λ-리턴의 재귀식

12

\(\tfrac12\big(v_\xi(s_t) - \operatorname{sg}(V^\lambda_t)\big)^2\)

크리틱 손실

12

\(z = \operatorname{onehot} + p - \operatorname{sg}(p)\) (값 = 원-핫, \(\partial\mathcal{L}/\partial p = \partial\mathcal{L}/\partial z\))

직선 통과 추정기

12

\(\alpha\,D_{\mathrm{KL}}(\operatorname{sg}(q)\,\Vert \,p) + (1-\alpha)\,D_{\mathrm{KL}}(q\,\Vert \,\operatorname{sg}(p))\)

KL 균형 (DreamerV2, \(\alpha = 0.8\))

12

\(\operatorname{symlog}(x) = \operatorname{sign}(x)\log(\lvert x\rvert + 1)\), \(\ \operatorname{symexp}(x) = \operatorname{sign}(x)(e^{\lvert x\rvert} - 1)\)

symlog 와 그 역함수

12

\(w_{k+1} = \dfrac{y - b_k}{b_{k+1} - b_k}\), \(\ w_k = \dfrac{b_{k+1} - y}{b_{k+1} - b_k}\)

two-hot 가중치

12

\(z_t = \sum_{i=0}^{n-1}\gamma^i r_{t+i} + \gamma^n v(s_{t+n})\)

n-스텝 가치 목표 (MuZero). 여기서 \(z_t\) 는 잠재 변수가 아니라 가치 목표

13

\(Q + P\,\dfrac{\sqrt{\sum_b N}}{1 + N}\big(c_1 + \log\tfrac{\sum_b N + c_2 + 1}{c_2}\big)\)

MCTS 의 pUCT 점수

13

\(q^\ast \propto p\,\exp(J/\tau)\), \(\ w_i = \dfrac{\exp(J_i/\tau)}{\sum_j\exp(J_j/\tau)}\)

MPPI 가중치 (\(\tau\) 는 온도)

13

\(\operatorname{softmax}\!\big(QK^\top/\sqrt{d}\big)V\), \(\ \operatorname{Var}(q\cdot k) = d\)

어텐션과 \(\sqrt d\) 로 나누는 이유

13

\(x_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon\)

확산의 정방향 닫힌 꼴

13

\(\tilde\mu_t = \dfrac{1}{\sqrt{\alpha_t}}\Big(x_t - \dfrac{\beta_t}{\sqrt{1-\bar\alpha_t}}\epsilon\Big)\), \(\ \tilde\beta_t = \dfrac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\beta_t\)

역방향 정답 분포의 평균 · 분산

13

\(\mathbb{E}\big\lVert\epsilon - \epsilon_\theta(\sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\epsilon,\ t)\big\rVert^2\)

확산 모델의 학습 손실

13

\(\bar\theta \leftarrow \tau\bar\theta + (1-\tau)\theta\)

EMA 목표 인코더 (JEPA · TD-MPC). 여기서 \(\tau\) 는 섞는 비율

13

용어집

튜토리얼에 나온 용어를 가나다순으로 모은 표다. "설명한 장" 은 그 용어를 처음 정의하고 자세히 설명한 장이다(이름만 먼저 나온 장은 적지 않는다).

한국어 용어

용어

영어

뜻

설명한 장

가능도

likelihood

매개변수를 고정했을 때 관측한 데이터가 나올 확률(밀도). 매개변수의 함수로 본다

02장

가우시안 분포 (정규 분포)

Gaussian / normal distribution

평균 μ, 분산 σ² 의 종 모양 분포 N(μ, σ²)

02장

가우시안 평활화

Gaussian smoothing

F 대신 E[F(θ + σε)] 를 최적화해 기울기를 표본으로 추정하게 하는 기법

10장

가치 등가

value equivalence

계획에 쓰이는 값(보상 · 가치 · 정책)만 진짜와 같으면 된다는 World Model 설계 원리 (MuZero)

13장

가치 반복

value iteration

벨만 최적 방정식을 되풀이 적용해 최적 가치를 구하는 방법

05장

가치 함수

value function

상태 s 에서 정책을 따를 때 받을 리턴의 기댓값 V(s)

05장

강화학습

reinforcement learning, RL

보상을 최대로 하는 행동을 시행착오로 배우는 학습

05장

결합 확률

joint probability

여러 사건이 함께 일어날 확률 p(x, y)

02장

경사 하강법

gradient descent

기울기의 반대 방향으로 매개변수를 조금씩 옮겨 손실을 줄이는 방법

04장

계획

planning

모델로 미래를 미리 따져 보고 행동을 고르는 것

05장

곡률

curvature

손실 곡면이 휘어진 정도. 클수록 학습률을 작게 잡아야 한다

04장

공통 난수

common random numbers

후보들을 같은 시드 · 같은 초기 상태로 평가해 비교의 잡음을 줄이는 기법

10장

과적합

overfitting

학습 데이터는 잘 맞히지만 새 데이터에서는 틀리는 상태

04장 · 06장

관성 모멘트

moment of inertia

회전시키기 어려운 정도. 끝을 축으로 도는 막대는 ml²/3

06장

관측

observation

에이전트가 실제로 보는 것 o_t (숫자 벡터 · 그림)

01장

교차 엔트로피

cross-entropy

p 의 데이터를 q 로 부호화할 때의 평균 정보량 H(p, q) = −Σ p log q

03장

궤적

trajectory

상태 · 행동 · 보상을 시간 순으로 늘어놓은 것 τ

05장

궤적 표본 전파

trajectory sampling, TS

입자마다 앙상블 멤버와 잡음을 뽑아 불확실성을 미래로 전파하는 PETS 의 방법

07장

기댓값

expectation

확률로 가중한 평균 E[f(x)]

02장

기울기 소실

vanishing gradient

층 · 시간을 거슬러 갈수록 기울기가 0 에 가까워져 학습이 안 되는 현상

04장

기울기 자르기

gradient clipping

기울기 벡터의 길이가 c 를 넘으면 길이를 c 로 줄이는 안정화 기법

09장

기울기 차단

stop-gradient, sg

값은 그대로 쓰되 기울기는 흘리지 않는 연산 (.detach())

12장

기준선

baseline

정책 경사의 분산을 줄이려고 리턴에서 빼는 값. 빼도 기댓값은 그대로

05장

꿈

dream

World Model 이 스스로 만든 상상 속 궤적. 그 안에서 정책을 학습하기도 한다

09장

노출 편향

exposure bias

학습 땐 진짜 입력, 생성 땐 자기 출력을 입력으로 받아 생기는 차이

09장

다루기 어렵다

intractable

정확히 계산하려면 비용이 너무 커서 사실상 계산할 수 없다

08장

다봉 분포

multimodal distribution

봉우리가 여러 개인 분포. 평균이 어느 봉우리와도 닮지 않을 수 있다

01장

다양체 가설

manifold hypothesis

고차원 데이터(그림)가 실제로는 저차원 곡면 근처에 모여 있다는 가정

08장

다층 퍼셉트론

multilayer perceptron, MLP

선형 층과 활성 함수를 번갈아 쌓은 가장 기본적인 신경망

04장

대각 가우시안

diagonal Gaussian

차원끼리 독립인 다변량 가우시안. 공분산 행렬이 대각 행렬

02장

독립

independent

p(x, y) = p(x) p(y). 한 변수를 알아도 다른 변수에 대한 정보가 없다

02장

드리프트

drift

자기 출력으로 계속 생성하면서 오차가 쌓여 장면이 점점 어긋나는 현상

13장

라그랑주 승수

Lagrange multiplier

조건이 있는 최적화를 조건 없는 문제로 바꾸려고 더하는 변수

13장

로그 미분 트릭

log-derivative trick

∇p = p ∇log p 를 이용해 기댓값의 기울기를 표본으로 추정하는 방법

05장

로짓

logit

softmax · sigmoid 에 넣기 전의 점수(정규화되지 않은 로그 확률)

02장

리턴

return

앞으로 받을 (할인된) 보상의 합 G_t

05장

리플레이 버퍼

replay buffer

에이전트가 모은 경험(관측 · 행동 · 보상)을 쌓아 두고 학습 때 무작위로 꺼내 쓰는 저장소. 기호 𝒟

11장

립시츠 상수

Lipschitz constant

입력 차이가 출력에서 최대 몇 배로 커지는지의 상한 L

06장

마르코프 결정 과정

Markov decision process, MDP

상태 · 행동 · 전이 확률 · 보상 · 할인율로 정의한 의사결정 문제

05장

마르코프 성질

Markov property

다음 상태가 지금 상태 · 행동에만 달려 있고 그 이전 과거와는 무관하다는 성질

05장

매개변수

parameter

학습으로 고치는 신경망의 숫자들(가중치 · 편향)

04장

모델 기반 강화학습

model-based RL

환경의 모델(World Model)을 배워 계획 · 상상에 쓰는 강화학습

01장

모델 없는 강화학습

model-free RL

모델 없이 경험에서 바로 정책 · 가치를 배우는 강화학습

01장

모델 예측 제어

model predictive control, MPC

매 스텝 모델로 앞을 계획하고 첫 행동만 실행한 뒤 다시 계획하는 방법

07장

모델 착취

model exploitation

정책이 World Model 의 틀린 곳을 이용해 상상 속에서만 높은 점수를 내는 현상

01장

목표 신경망

target network

학습 목표값을 계산할 때 쓰는, 천천히 따라오는 신경망 사본(주기적 복사 또는 EMA). 목표가 매 스텝 흔들리지 않게 한다. Dreamer 의 느린 크리틱, TD-MPC · JEPA 의 목표 인코더

05장 · 12장

몬테카를로 추정

Monte Carlo estimation

표본을 뽑아 평균 내어 기댓값을 근사하는 방법

02장

미니배치

minibatch

전체 데이터 대신 매 스텝 무작위로 뽑아 쓰는 작은 묶음. 그 기울기는 전체 기울기의 불편 추정

04장

미분

derivative

입력을 아주 조금 바꿀 때 출력이 바뀌는 비율

04장

미분 방정식

differential equation

변화율(미분)과 값 사이의 관계식. 진자의 운동 방정식

06장

믿음 상태

belief state

부분 관측에서 지금 상태에 대한 확률 분포 b_t(s)

05장

밴딧

bandit

상태 없이 행동만 고르는 가장 단순한 강화학습 문제

05장

베르누이 분포

Bernoulli distribution

0 또는 1 을 내는 분포. 1 이 나올 확률 p

02장

베이즈 정리

Bayes' theorem

p(y | x) = p(x | y) p(y) / p(x). 원인과 결과의 조건부 확률을 뒤집는다

02장

벨만 방정식

Bellman equation || 가치 = 지금 보상 + 할인된 다음 상태의 가치, 라는 재귀식

05장

벨만 최적 방정식

Bellman optimality equation

최적 가치 = 가장 좋은 행동의 (보상 + 할인된 다음 가치)

05장

변분 추론

variational inference

계산할 수 없는 사후 분포를 다루기 쉬운 분포 q 로 근사하는 방법

08장

보상

reward

행동 하나에 대해 환경이 주는 점수 r_t

01장

보상 모델

reward model

상태 · 행동으로 보상을 예측하는 모델

01장

보편 근사 정리

universal approximation theorem

충분히 넓은 신경망은 연속 함수를 원하는 만큼 가깝게 흉내 낼 수 있다는 정리

04장

볼록

convex

두 점을 잇는 선분이 그래프 위에 있는 함수 모양 (예: x²)

03장

부분 관측

partial observability

관측 하나로는 상태를 다 알 수 없는 상황. 그림 한 장으로는 각속도를 모른다

01장

부트스트랩

bootstrap

① 통계: 데이터에서 복원 추출로 모델마다 조금씩 다른 학습 데이터를 만드는 방법(7장) ② 강화학습: 자기 자신의 가치 추정으로 학습 목표를 만드는 것(TD 목표, 5 · 12장)

07장 · 12장

분리 표현

disentanglement

잠재 변수의 각 성분이 하나의 의미 있는 요인에 대응하는 표현

08장

분산

variance

평균에서 얼마나 퍼져 있는지 Var[X] = E[(X − E[X])²]

02장

분할 상환 추론

amortized inference

데이터마다 최적화하는 대신 신경망 하나(인코더)가 바로 q(z | x) 를 내놓는 방식

08장

블랙박스 최적화

black-box optimization

함수의 기울기 없이 값만 보고 최적점을 찾는 최적화

10장

사람 기준 정규화 점수

human-normalized score, HNS

(에이전트 − 무작위)/(사람 − 무작위). Atari 성적 비교에 쓴다

13장

사전 확률

prior

데이터를 보기 전의 믿음 p(z)

02장

사후 붕괴

posterior collapse

VAE 의 q(z | x) 가 사전 분포와 같아져 잠재 변수가 아무 정보도 담지 않는 현상

08장

사후 확률 (사후 분포)

posterior

데이터를 본 뒤의 믿음 p(z | x)

02장

상태

state

환경의 진짜 상황 s_t. 진자에서는 (θ, θ̇)

01장

상태 공간 모델

state-space model, SSM

보이지 않는 상태가 시간에 따라 변하고, 관측은 상태에서 나온다고 보는 모델

11장

상호정보량

mutual information

한 변수를 알면 다른 변수의 불확실성이 얼마나 줄어드는지 I(X; Y)

03장

선형 층

linear layer || y = Wx + b. 완전 연결 층

04장

소프트맥스

softmax

점수들을 지수로 바꿔 합이 1 인 확률로 만드는 함수

02장

손실 함수

loss function

예측이 얼마나 틀렸는지 재는 값. 학습은 이것을 줄인다

04장

순환 신경망

recurrent neural network, RNN

은닉 상태를 들고 다니며 시퀀스를 한 스텝씩 처리하는 신경망

09장

스트라이드

stride

합성곱 커널을 한 번에 몇 칸씩 옮기는지. 2 이면 출력 크기가 약 절반이 된다

04장

신경망

neural network

매개변수가 있는 단순한 함수(층)를 여러 겹 합성해 만든 함수

04장

앙상블

ensemble

같은 구조의 모델 여러 개를 따로 학습시켜 함께 쓰는 것. 의견 차이로 불확실성을 잰다

07장

액터

actor

행동을 고르는 정책 신경망 π_ψ

05장

어텐션

attention

질의와 열쇠의 유사도(softmax 가중치)로 값들을 섞는 연산. Transformer 의 핵심

13장

에너지

energy

두 입력이 얼마나 안 맞는지 재는 값. JEPA 에서는 표현 사이의 거리

13장

에이전트

agent

관측을 보고 행동을 고르는 주체

01장

에폭

epoch

학습 데이터 전체를 한 번 다 보는 단위

06장

에피소드

episode

시작부터 끝까지 한 번의 시도. 진자는 200 스텝

01장

엔트로피

entropy

분포의 평균 정보량(불확실성) H(p) = −Σ p log p

03장

역전파

backpropagation

연쇄 법칙으로 출력의 손실에서 모든 매개변수의 기울기를 거꾸로 계산하는 방법

04장

열린 고리 롤아웃

open-loop rollout

처음 상태만 주고 이후는 모델 자신의 예측을 이어 붙여 굴리는 것

06장

오목

concave

볼록의 반대 모양의 함수 (예: log x)

03장

오차 누적

compounding error

여러 스텝 예측할 때 한 스텝의 작은 오차가 쌓여 커지는 현상

01장

오토인코더

autoencoder, AE

입력을 작은 코드로 압축했다가 다시 복원하도록 학습하는 신경망

08장

온도

temperature

분포를 얼마나 평평하게(무작위하게) 만들지 정하는 값 τ

09장

우연적 불확실성

aleatoric uncertainty

세상 자체의 무작위성. 데이터가 많아도 줄지 않는다 (분산의 평균)

07장

은닉 상태

hidden state

RNN 이 들고 다니는 기억 h_t

09장

음의 로그 가능도

negative log-likelihood, NLL

−log p(데이터). 최대우도 추정 = NLL 최소화

02장

이점

advantage

A(s, a) = Q(s, a) − V(s). 이 행동이 평균보다 얼마나 나은지

05장

인과 마스크

causal mask

Transformer 가 미래 토큰을 보지 못하게 점수를 −∞ 로 가리는 것

13장

인식적 불확실성

epistemic uncertainty

데이터가 부족해서 생기는 모름. 데이터가 늘면 준다 (앙상블 평균의 퍼짐)

07장

일반화

generalization

학습에 쓰지 않은 새 데이터에서도 잘 맞히는 성질

04장

자기회귀

autoregressive

앞의 것들을 보고 다음 하나를 예측하는 것을 되풀이해 열을 만드는 방식

13장

자동 미분

automatic differentiation, autograd

계산 과정을 기록해 두었다가 연쇄 법칙으로 기울기를 자동으로 구하는 기능

04장

자유 내트

free nats

KL 이 정한 값보다 작으면 KL 항으로는 학습하지 않게 하는 기법 max(KL, c)

11장

잠재 과대 예측

latent overshooting

여러 스텝 앞의 사전 분포까지 사후 분포에 맞추도록 하는 PlaNet 의 보조 목표

11장

잠재 변수

latent variable

직접 보이지 않는, 데이터를 설명하는 숨은 변수 z

01장

잠재 행동 모델

latent action model, LAM

행동 라벨 없는 영상에서 프레임 변화를 설명하는 이산 행동을 배우는 모델 (Genie)

13장

재매개변수화 트릭

reparameterization trick || z = μ + σ·ε 로 써서 표본을 뽑는 단계를 지나 기울기를 흘리는 방법

08장

전이 모델

transition model, dynamics model

지금 상태와 행동으로 다음 상태를 예측하는 모델

01장

전체 기댓값의 법칙

law of total expectation

경우를 나눠 각 경우의 기댓값을 그 확률로 가중해 더하면 전체 기댓값이 된다. E[X] = Σ_y p(y) E[X | y]

02장

전치 합성곱

transposed convolution

그림 크기를 키우는 합성곱. VAE 디코더에 쓴다

04장 · 08장

정보 병목

information bottleneck

전달할 수 있는 정보를 일부러 좁혀 꼭 필요한 정보만 남기게 하는 설계

13장

정보량

information content, surprisal

드문 사건일수록 큰 놀람 −log p(x)

03장

정신 모형

mental model

사람이 머릿속에 가진 세상의 축소판 모형

01장

정예

elite

CEM 에서 점수가 가장 좋은 상위 후보들

07장

정책

policy

상태(관측)를 보고 행동을 고르는 규칙 π(a | s)

01장

젠센 부등식

Jensen's inequality

오목 함수 f 에 대해 f(E[X]) ≥ E[f(X)]. ELBO 유도의 핵심

03장

조건부 기댓값

conditional expectation

어떤 조건이 주어졌을 때의 기댓값 E[X | Y = y]. MSE 를 최소로 하는 예측이 이것이다

02장

조건부 확률

conditional probability

y 를 알 때 x 의 확률 p(x | y) = p(x, y)/p(y)

02장

주변 확률

marginal probability

결합 확률에서 다른 변수를 모두 더해(적분해) 없앤 한 변수만의 확률

02장

주변화

marginalization

관심 없는 변수를 합(적분)해서 없애는 것 p(x) = Σ_y p(x, y)

02장

증거

evidence

베이즈 정리의 분모 p(x). 모든 원인에 대해 더한 관측의 확률

02장

지도 학습

supervised learning

입력과 정답 쌍으로 입력 → 정답 함수를 배우는 학습

04장

직선 통과 추정기

straight-through estimator

앞으로는 이산 값을, 뒤로는 기울기를 그대로 통과시키는 트릭

12장

진화 경로

evolution path

CMA-ES 가 지난 평균 이동들을 누적해 스텝 크기 · 공분산을 조절하는 데 쓰는 벡터

10장

진화 전략

evolution strategies, ES

매개변수에 잡음을 더한 후보들의 점수로 다음 분포를 정하는 블랙박스 최적화

10장

최대우도 추정

maximum likelihood estimation, MLE

데이터의 가능도를 가장 크게 만드는 매개변수를 고르는 방법

02장

커널 (필터)

kernel, filter

합성곱에서 그림 위를 미끄러지며 곱해지는 작은 가중치 묶음

04장

코드북

codebook

VQ-VAE 가 고를 수 있는 벡터들의 목록 {e_1, …, e_K}

13장

크리틱

critic

상태의 가치를 추정하는 신경망 v_ξ

05장

큰 수의 법칙

law of large numbers

표본이 많을수록 표본 평균이 기댓값에 가까워진다

02장

텐서

tensor

숫자를 여러 축으로 늘어놓은 배열. PyTorch 의 기본 자료형

04장

토크

torque

축을 중심으로 돌리는 힘. 진자의 행동 u

06장

토큰

token

모델이 다루는 이산 기호 하나(정수). 그림도 VQ 로 토큰열이 된다

13장

패딩

padding

합성곱 전에 그림 가장자리에 덧대는 값(보통 0). 출력 크기를 조절한다

04장

편미분

partial derivative

다른 변수는 고정하고 한 변수에 대해서만 미분한 것

04장

표준화

standardization

(x − 평균)/표준편차 로 평균 0, 표준편차 1 로 맞추는 전처리

04장 · 06장

표현 붕괴

representation collapse

모든 입력이 같은 표현으로 뭉개져 손실만 작아지는 실패

13장

필터링

filtering

지금까지의 관측으로 지금 상태의 분포를 추정하는 것

11장

할인율

discount factor

미래 보상을 얼마나 깎아 셀지 정하는 값 γ (0 – 1)

05장

합성 함수

composite function

함수 안에 함수가 들어간 것 f(g(x)). 연쇄 법칙의 대상

04장

합성곱 신경망

convolutional neural network, CNN

작은 필터를 그림 위로 밀며 지역 특징을 뽑는 신경망

04장

행동

action

에이전트가 환경에 하는 일 a_t. 진자에서는 토크 u

01장

행동 반복

action repeat

같은 행동을 k 스텝 되풀이해 결정 횟수를 줄이는 기법

11장

혼합 밀도 네트워크

mixture density network, MDN

출력으로 가우시안 혼합 분포의 가중치 · 평균 · 표준편차를 내는 신경망

09장

확률밀도함수

probability density function, PDF

연속 변수의 확률 밀도. 구간에서 적분하면 확률

02장

확률변수

random variable

실험 결과에 따라 값이 정해지는 변수

02장

확률적 경사 하강법

stochastic gradient descent, SGD

미니배치로 추정한 기울기로 매개변수를 고치는 경사 하강법

04장

확률질량함수

probability mass function, PMF

이산 변수가 각 값을 가질 확률

02장

확산 모델

diffusion model

데이터에 잡음을 섞는 과정을 거꾸로 배워 잡음에서 데이터를 만드는 생성 모델

13장

환경

environment

에이전트가 상호작용하는 세상. 행동을 받아 다음 관측 · 보상을 준다

01장

활성 함수

activation function

층 사이에 넣는 비선형 함수 (ReLU, tanh, SiLU …)

04장

후퇴 지평

receding horizon

매 스텝 H 스텝 앞을 계획하고 첫 행동만 실행한 뒤 창을 한 칸 밀어 다시 계획하는 방식

07장

1차 테일러 근사

first-order Taylor approximation

f(x + Δ) ≈ f(x) + f'(x)Δ. 경사 하강법이 손실을 줄이는 이유

04장

KL 균형

KL balancing

KL 의 기울기를 사전 쪽(α)과 사후 쪽(1−α)에 나눠 주는 DreamerV2 기법

12장

KL 발산

Kullback–Leibler divergence

두 분포가 얼마나 다른지 KL(p‖q) = Σ p log(p/q) ≥ 0

03장

n-스텝 리턴

n-step return

실제 보상 n 개 + γⁿ × (n 스텝 뒤의 가치 추정)

12장

β-VAE

beta-VAE

KL 항에 β 를 곱해 재구성과 압축의 균형을 조절하는 VAE

08장

λ-리턴

λ-return

여러 n-스텝 리턴을 (1−λ)λ^(n−1) 가중치로 섞은 가치 목표

12장

영문 약어 · 이름

약어 · 영문 용어

뜻

설명한 장

Adam

적응적 학습률 옵티마이저. 기울기의 이동 평균과 크기로 스텝을 조절한다

04장

BPTT

backpropagation through time. 시간으로 펼친 RNN 에 대한 역전파

09장

CEM

cross-entropy method. 후보를 뽑고 상위(정예)로 가우시안을 다시 맞추기를 되풀이하는 최적화

07장

CMA-ES

covariance matrix adaptation evolution strategy. 공분산까지 적응하는 진화 전략

10장

DDPM

denoising diffusion probabilistic model. 잡음 예측으로 학습하는 확산 모델 (Ho et al., 2020)

13장

Dyna

실제 경험으로 모델을 배우고, 모델이 만든 가상 경험으로도 가치 · 정책을 학습하는 구조 (Sutton, 1990 – 1991)

01장

ELBO

evidence lower bound. log p(x) 의 아래 경계 = 재구성 − KL

08장

EMA

exponential moving average. θ̄ ← τθ̄ + (1−τ)θ 로 천천히 따라오는 평균

04장 · 13장

GRU

gated recurrent unit. 게이트 두 개(갱신 · 리셋)로 기억을 조절하는 RNN

09장

JEPA

joint-embedding predictive architecture. 픽셀 대신 표현 공간에서 예측하는 구조

13장

log-sum-exp

log Σ exp(a_k) 를 최댓값을 빼고 안정적으로 계산하는 방법

02장

LSTM

long short-term memory. 셀 상태와 게이트 세 개로 긴 기억을 유지하는 RNN

09장

MCTS

Monte Carlo tree search. 유망한 가지를 한 스텝씩 파 내려가는 탐색 (MuZero)

13장

MDP

Markov decision process. 상태 · 행동 · 전이 · 보상 · 할인율로 정의한 의사결정 문제

05장

MPPI

model predictive path integral. 후보를 exp(J/τ) 가중치로 평균 내는 계획 방법

13장

MSE

mean squared error. 오차 제곱의 평균

04장

PETS

probabilistic ensembles with trajectory sampling. 확률적 앙상블 + 궤적 표본 전파 + CEM-MPC

07장

PlaNet

deep planning network. RSSM 잠재 공간에서 CEM 으로 계획하는 에이전트

11장

POMDP

partially observable MDP. 관측만으로는 상태를 다 알 수 없는 MDP

05장

pUCT

MCTS 에서 이용(Q)과 탐험(사전 확률 · 방문 수)을 섞는 점수

13장

REINFORCE

∇J = E[∇ log π(a|s) · G] 로 정책을 직접 미분하는 정책 경사 방법

05장

RSSM

recurrent state-space model. 결정적 경로 h_t 와 확률적 경로 z_t 를 함께 쓰는 잠재 동역학

11장

SiLU (Swish)

x · sigmoid(x). 부드러운 ReLU 꼴 활성 함수

06장

SimNorm

잠재 벡터를 묶음별 softmax 로 정규화하는 TD-MPC2 의 기법

13장

softplus

log(1 + eˣ). 늘 양수인 부드러운 ReLU. 표준편차를 만들 때 쓴다

07장

symlog

sign(x) log(|x| + 1). 크기가 제각각인 값을 눌러 담는 변환 (DreamerV3)

12장

TD 오차

temporal difference error. δ = r + γV(s') − V(s). 기댓값이 이점이 된다

05장

two-hot

실수 하나를 이웃한 두 구간(bin)에 가중치를 나눠 담는 범주형 부호화 (DreamerV3)

12장

unimix

범주형 분포에 균등 분포를 조금(DreamerV3 는 1%) 섞어 확률이 정확히 0 이 되지 않게 하는 기법

12장

VAE

variational autoencoder. 잠재 변수 모델 + 인코더(변분 추론)를 ELBO 로 함께 학습

08장

VQ-VAE

vector-quantized VAE. 잠재를 코드북의 가장 가까운 벡터로 바꿔 토큰을 만든다

13장

논문 지도

논문은 처음부터 끝까지 읽기보다 ① 초록과 그림 1, ② 방법 절의 핵심 식, ③ 실험의 주요 표 순서로 읽고, 이해가 안 되는 식은 튜토리얼의 해당 장으로 돌아가 확인한다. 아래 순서는 튜토리얼의 흐름을 따른다.

순서

논문

왜 읽나

관련 장

0

Sutton & Barto, Reinforcement Learning: An Introduction (2판) 3 – 4장, 8장

MDP · 벨만 방정식, 그리고 Dyna(모델 기반 강화학습의 고전)

05

1

Kingma & Welling, “Auto-Encoding Variational Bayes”, 1312.6114

VAE 와 재매개변수화 트릭의 원전

08

2

Graves, “Generating Sequences With Recurrent Neural Networks”, 1308.0850

MDN-RNN 으로 시퀀스를 생성하는 방법

09

3

Ha & Schmidhuber, “World Models”, 1803.10122 (+ 상호작용 글)

V · M · C 구조와 꿈속 학습. 읽기 쉽고 그림이 좋다

10

4

Chua et al., “PETS”, 1805.12114

확률적 앙상블과 불확실성을 고려한 MPC

07

5

Janner et al., “MBPO: When to Trust Your Model”, 1906.08253

짧은 모델 롤아웃으로 모델-없는 학습을 돕는 방법, 오차 누적의 분석

06 · 07

6

Salimans et al., “Evolution Strategies”, 1703.03864 · Hansen, “CMA-ES Tutorial”, 1604.00772

기울기 없이 정책을 찾는 진화 전략

10

7

Hafner et al., “PlaNet”, 1811.04551

RSSM 과 잠재 공간 계획

11

8

Hafner et al., “Dreamer”, 1912.01603

상상 속 액터-크리틱과 λ-리턴

12

9

Hafner et al., “DreamerV2”, 2010.02193 · “DreamerV3”, 2301.04104

범주형 잠재 · KL 균형, 그리고 하나의 설정으로 여러 영역

12

10

Schrittwieser et al., “MuZero”, 1911.08265

가치 등가 모델과 MCTS

13

11

Hansen et al., “TD-MPC2”, 2310.16828

디코더 없는 잠재 계획의 현재 형태

13

12

Micheli et al., “IRIS”, 2209.00588

토큰 + Transformer World Model

13

13

Ho et al., “DDPM”, 2006.11239 → Alonso et al., “DIAMOND”, 2405.12399

확산 모델과 확산 World Model

13

14

LeCun, “A Path Towards Autonomous Machine Intelligence” → “V-JEPA 2”, 2506.09985

표현 공간 예측이라는 다른 길

13

15

Bruce et al., “Genie”, 2402.15391 → Hafner et al., “Dreamer 4”, 2509.24527

대규모 비디오 World Model 과 그 안에서의 에이전트 학습

13

+

Moerland et al., “Model-based RL: A Survey”, 2006.16712

모델 기반 강화학습 전체를 정리한 개관 논문. 지도를 다시 그리고 싶을 때

01

공개 구현 · 도구

튜토리얼의 작은 구현으로 원리를 익힌 뒤 큰 과제에 도전할 때는 검증된 공개 구현에서 출발한다.

구현

내용

danijar/dreamerv3

DreamerV3 공식 구현(JAX). dreamerv2 · dreamer 저장소도 있다

NM512/dreamerv3-torch

DreamerV3 의 PyTorch 재구현(커뮤니티). 이 튜토리얼처럼 PyTorch 로 읽고 싶을 때

google-research/planet

PlaNet 공식 구현(TensorFlow)

hardmaru/WorldModelsExperiments

Ha & Schmidhuber World Models 실험 코드

facebookresearch/mbrl-lib

PETS · MBPO 등 모델 기반 강화학습 라이브러리(PyTorch)

nicklashansen/tdmpc2

TD-MPC2 공식 구현과 학습된 체크포인트

werner-duvaud/muzero-general

MuZero 의 읽기 쉬운 PyTorch 재구현(커뮤니티)

eloialonso/iris · eloialonso/diamond

IRIS(Transformer) · DIAMOND(확산) World Model 공식 구현

facebookresearch/vjepa2

V-JEPA 2 코드와 사전 학습 모델

nvidia-cosmos

NVIDIA Cosmos World Foundation Model 저장소들

Gymnasium · DeepMind Control Suite · MuJoCo

실험 환경. 이 튜토리얼의 진자는 Gymnasium Pendulum-v1 과 같은 물리이고, PlaNet · Dreamer 는 DeepMind Control Suite 로 평가했다

튜토리얼 코드를 Gymnasium 환경으로 옮기기

  • wm_envs.py 의 환경은 obs, reward, done = env.step(action) 세 값을 돌려주지만, Gymnasium 은 obs, reward, terminated, truncated, info = env.step(action) 다섯 값을 돌려준다. done = terminated or truncated 로 바꾼다.
  • reset() 이 (obs, info) 를 돌려주는 점을 맞추면 대부분의 실습 코드를 그대로 쓸 수 있다.
  • 그림 관측은 환경을 render_mode="rgb_array" 로 만들고 env.render() 가 돌려주는 RGB 그림을 흑백(1채널)으로 바꾼 뒤 64×64 로 줄인다. 본문 모델은 1채널 입력이다.

자주 묻는 질문

GPU 없이 끝까지 따라갈 수 있는가
10장까지와 13장은 가능하다. CPU 로도 돌도록 작게 만들었고 각 장에 실제로 걸린 시간이 적혀 있다(06 · 07 · 13장은 CPU 로 1 – 20분 정도). 11 · 12장(그림을 보는 PlaNet · Dreamer)의 본문 설정은 CPU 로 하루 이상 걸려 사실상 어렵다. 먼저 --quick 으로 코드가 도는 것을 확인하고, 본 학습은 GPU(무료 클라우드 노트북도 된다)에서 돌리거나 학습 횟수를 줄여 경향만 본다.
World Model 과 시뮬레이터(물리 엔진)의 차이
물리 엔진은 사람이 규칙(방정식)을 직접 적어 넣은 것이고, World Model 은 그 규칙을 데이터에서 배운 것이다. 6장에서 진자의 방정식을 아는데도 신경망으로 배운 까닭은 실제 세상(로봇 · 게임 · 운전)에서는 대부분 방정식을 모르거나 너무 복잡하기 때문이다. 배운 모델은 틀릴 수 있으므로 불확실성(7장)과 모델 착취(10장)를 늘 의식해야 한다.
모델 기반 강화학습이 모델 없는 강화학습보다 늘 좋은가
아니다. 환경과 상호작용하는 비용이 클 때(실제 로봇, 느린 시뮬레이터)는 표본 효율이 큰 장점이지만, 모델을 배우는 계산 비용과 모델 오차라는 대가가 있다. 시뮬레이터가 아주 빠르고 값싸면 모델 없는 방법이 더 단순하고 최종 성능이 좋을 때도 많다. 다만 DreamerV3 처럼 두 장점을 함께 노리는 방법이 늘고 있다.
처음부터 끝까지 진자만 쓴 이유
세상이 같으면 모델이 바뀐 효과만 비교할 수 있다. 진자는 물리가 세 줄로 적혀 정답과 비교할 수 있고, 그림으로 보면 속도를 알 수 없는 부분 관측 문제가 되며, 그네처럼 에너지를 모아야 해서 단순한 탐욕적 정책으로는 풀리지 않는다. 작지만 World Model 의 핵심 난점이 모두 들어 있다.
그림 크기를 키우거나 컬러로 바꿀 때 고칠 것
인코더 · 디코더의 합성곱 층 수와 입력 채널(흑백 1 → 컬러 3)을 바꾸고, 8장 · 11장의 출력 크기 계산을 따라 층마다 크기가 맞는지 다시 계산한다. 픽셀 수가 늘면 재구성 손실의 크기가 커지므로 KL 과의 균형(β, 자유 내트)도 다시 맞춘다.
Dreamer 가 논문만큼 성능이 나오지 않을 때
먼저 학습 스텝 수를 비교한다. 논문은 수십만에서 수백만 스텝을 쓰지만 튜토리얼은 훨씬 적다. 그다음 증상 표에서 "상상 리턴과 실제 리턴의 차이", "열린 고리 상상 그림", "KL 크기" 를 점검한다. 재현이 목적이면 공개 구현과 같은 설정으로 비교하는 것이 가장 빠르다.
대규모 언어 모델(LLM)도 World Model 인가
LLM 이 세상에 대한 지식을 많이 담고 있는 것은 분명하지만, 튜토리얼의 좁은 정의("행동이 주어지면 다음 상태를 예측하고, 그것으로 계획 · 학습한다")에 딱 맞지는 않는다. LLM 을 에이전트의 계획기로 쓰거나(행동의 결과를 글로 상상), 13장의 Genie 3 · 4 처럼 글로 세계를 만들고 바꾸는 비디오 World Model 처럼 언어와 World Model 을 함께 쓰는 연구가 활발하다. 어디까지를 World Model 로 부를지는 연구자들 사이에서도 합의되지 않았다.
수학이 막혔을 때
막힌 식의 풀이가 가리키는 장(대개 2 · 3장)으로 돌아간다. 그리고 식에 작은 숫자를 직접 넣어 계산한다. 튜토리얼의 모든 핵심 식에는 숫자 예와 그 숫자를 확인하는 코드가 있다.

다음 걸음: 직접 해 볼 프로젝트

튜토리얼의 코드를 출발점으로 삼아 난이도 순으로 해 볼 만한 프로젝트다.

난이도

프로젝트

무엇을 배우나

★☆☆

진자의 보상을 바꿔 “거꾸로 매달린 채 빨리 돌기” 를 목표로 7장 MPC 를 돌려 보기

World Model 은 그대로 두고 보상만 바꿔 새 과제를 푸는 모델 기반 방법의 장점

★☆☆

6장의 동역학 모델을 “변화량” 대신 “다음 관측” 을 직접 예측하도록 바꿔(요령 2 를 끄고) 1스텝 오차 · 오차 누적 비교

출력 설계가 여러 스텝 예측에 주는 영향

★★☆

Gymnasium 의 MountainCarContinuous-v0 로 6 · 7장 실습 옮기기(7장은 알고 있는 보상 함수를 쓰므로 새 환경의 보상 함수를 직접 적어야 한다. CartPole 같은 이산 행동 환경은 가우시안 대신 범주형 CEM 이 필요하다)

환경 인터페이스, 보상이 드문 과제에서의 탐험 문제

★★☆

12장 Dreamer 에 DreamerV3 의 symlog · two-hot · 자유 비트(free bits) · 리턴 정규화를 하나씩 넣고 효과 비교

각 기법의 역할을 실험으로 확인하기(절제 실험)

★★☆

7장 앙상블의 불일치를 12장 상상 보상에 벌점으로 넣어 모델 착취 줄이기

불확실성을 고려한 상상 학습

★★★

13장 확산 실습을 “64×64 진자 그림의 다음 프레임 예측” 으로 키우기

조건부 확산 World Model, 드리프트와 잡음 증강

★★★

11장 RSSM 에서 디코더를 떼고 TD-MPC 식 잠재 일관성 + TD 손실로 바꾸기

재구성 없는 World Model 과 표현 붕괴

★★★

진자 영상(행동 기록 없이)으로 Genie 식 잠재 행동 모델을 학습해, 코드가 토크 방향과 대응하는지 확인

행동 라벨 없는 World Model 학습, 정보 병목

정리

  • 디버깅은 데이터 확인, 모양 확인, 작은 데이터 과적합 순서로 시작하고 하이퍼파라미터는 마지막에 한 번에 하나씩 바꾼다.
  • 손실은 항별로, 기울기는 노름으로 기록한다. 노름 0 은 끊긴 기울기, 수천으로 튀는 값은 폭발이다.
  • NaN 은 대부분 \(\log 0\), 지수 넘침, 표준편차 0 에서 나온다. 안정 softplus, 로짓 BCE(\(\operatorname{softplus}(x) - yx\)), logsumexp, 표준편차 하한, 기울기 자르기로 막는다.
  • 원 논문의 하이퍼파라미터는 출발점이고 판과 공식 코드에 따라 다르다. 잘 안 되면 데이터 양, 학습률, 모델 크기, KL 관련 값, 상상 · 계획 길이 순으로 손본다.
  • 튜토리얼 전체는 "상태와 행동이 주어지면 다음을 예측하는 학습된 시뮬레이터" 라는 한 문장 정의에서 출발해, 숫자 세 개를 예측하는 MLP 에서 그림만 보고 상상 속에서 진자 세우기를 배우는 Dreamer 까지 간다.
  • 오늘의 큰 World Model 들도 같은 세 질문에 대한 서로 다른 답이다. 무엇을 예측할 것인가, 불확실한 미래를 어떻게 표현할 것인가, 상상을 어떻게 행동으로 바꿀 것인가.

확인 문제

1. 기울기 \(g = (3, 4)\) 를 최대 길이 \(c = 1\) 로 자른 결과와 \(c = 10\) 일 때의 결과
\(\lVert g\rVert = 5\). \(c = 1\) 이면 \(g' = (3, 4)/5 = (0.6, 0.8)\). \(c = 10\) 이면 \(5 \le 10\) 이므로 그대로 \((3, 4)\) 다.
2. 로짓 \(x = 0\), 정답 \(y = 1\) 일 때 \(\operatorname{softplus}(x) - yx\) 로 계산한 BCE 와 정의 \(-\log\sigma(0)\) 의 비교
\(\operatorname{softplus}(0) - 0 = \log 2 \approx 0.693\). 정의로는 \(\sigma(0) = 0.5\) 이므로 \(-\log 0.5 = \log 2\) 로 같다.
3. VAE 의 KL 항이 거의 0 이고 어떤 그림을 넣어도 재구성이 거의 같은 흐린 그림일 때의 진단
사후 붕괴다. 인코더의 \(q(z\mid x)\) 가 사전 \(\mathcal{N}(0, I)\) 와 같아져 잠재가 정보를 담지 않고 디코더는 평균 그림만 그린다. β 를 줄이거나 KL 가중치를 0 에서 서서히 올리고(warm-up), 자유 비트(free bits)를 쓰고, 디코더가 너무 세면(예: 자기회귀 디코더) 약하게 만든다(8 · 11 · 12장).
4. 행동 반복 2 인 진자 환경(에피소드당 결정 100번)에서 \(\gamma = 0.9\) 가 보는 범위
\(\frac{1}{1 - 0.9} = 10\) 스텝, 시간으로 \(10 \times 2 \times 0.05 = 1\) 초 정도다. 진자를 흔들어 올리는 데는 몇 초가 걸리므로 짧을 수 있다. \(\gamma = 0.99\) 면 약 100 스텝(10초)이다.

See also

Favorite site

author MCPBot, Zer0 sitemap