Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

일반화

최적화는 주어진 학습 데이터의 손실을 줄이는 과정입니다. 일반화는 학습에 사용하지 않은 데이터에서도 예측이 잘 맞는 성질입니다. 학습 손실이 작다는 사실만으로 새로운 데이터의 성능을 알 수는 없습니다. 이 장에서는 평가 데이터를 나누는 방법과 학습곡선, 규제, 데이터의 구조를 살펴보겠습니다.

경험 위험과 모집단 위험

데이터 (x,y)(x,y)가 분포 PP에서 나온다고 할 때, 모델 fθf_\theta의 모집단 위험은 다음과 같습니다.

R(θ)=E(x,y)∼P[ℓ(fθ(x),y)].R(\theta)=\mathbb{E}_{(x,y)\sim P}[\ell(f_\theta(x),y)].

분포 전체를 관측할 수 없으므로 학습 표본 nn개로 경험 위험을 계산합니다.

R^train(θ)=1n∑i=1nℓ(fθ(xi),yi),G(θ)=R(θ)−R^train(θ).\widehat R_{\mathrm{train}}(\theta)=\frac1n\sum_{i=1}^n\ell(f_\theta(x_i),y_i),\qquad G(\theta)=R(\theta)-\widehat R_{\mathrm{train}}(\theta).

GG를 일반화 격차라고 합니다. 실제로는 검증 또는 테스트 손실과 학습 손실의 차이로 격차를 추정합니다. 유한한 표본의 오차가 있으므로 이 차이는 음수가 될 수도 있습니다. 또 학습과 배포 데이터의 분포가 다르면 같은 분포를 가정한 평가만으로 배포 성능을 설명하기 어렵습니다. 손실의 정의와 출력 형태는 손실 함수에서 확인할 수 있습니다.

데이터 분할과 누수

데이터용도사용 시점
학습매개변수 추정, 전처리 통계 계산학습 중
검증모델 구조·규제 강도·학습 종료 시점 선택개발 중
테스트선택이 끝난 모델의 성능 평가최종 평가

테스트 결과를 보고 구조나 하이퍼파라미터를 반복해서 바꾸면 테스트 데이터도 모델 선택에 사용한 셈입니다. 검증 데이터에 너무 많은 선택을 반복해도 그 데이터에 과적합될 수 있습니다. 데이터가 작다면 교차검증을 활용하고, 최종 평가용 데이터는 별도로 유지합니다.

데이터 누수는 예측 시점에 알 수 없는 정보가 학습이나 모델 선택에 들어가는 문제입니다. 평균·표준편차, 결측값 대체값, 특징 선택 기준은 학습 데이터에서만 추정하고 같은 변환을 다른 분할에 적용합니다. 동일 환자·사용자·원본 영상에서 나온 표본은 그룹 단위로 나누어야 합니다. 미래를 예측하는 시계열은 시간 순서를 지켜 나누고 미래 관측으로 과거의 전처리 통계를 계산하지 않습니다. 시간에 따른 예측 예제는 날씨 예측을 참고하세요.

과소적합과 과대적합

과소적합은 모델이 학습 데이터의 주요 관계도 충분히 표현하지 못하는 상태입니다. 모델 용량 부족뿐 아니라 학습 시간 부족, 부적절한 특징, 지나치게 강한 규제도 원인이 될 수 있습니다. 과대적합은 학습 표본의 우연한 특징까지 맞추어 새 데이터의 성능이 나빠지는 상태입니다.

학습곡선해석확인할 사항
학습·검증 손실이 모두 높음과소적합 또는 최적화 실패 가능성기준선, 모델 표현력, 학습률, 학습 시간
학습 손실 감소, 검증 손실 증가과대적합 가능성규제, 학습 종료 시점, 데이터 다양성
두 손실이 낮고 차이가 작음해당 평가 분포에서 양호한 성능누수 여부, 표본 수, 배포 분포

격차가 작아도 두 손실이 모두 크면 좋은 모델이 아닙니다. 반대로 격차 하나만으로 과대적합을 확정할 수도 없습니다. 데이터 분포와 측정 방식이 같은지 먼저 확인합니다.

다음 예제는 잡음이 있는 합성 회귀 데이터를 사용합니다. 선형 모델, 큰 신경망, L2 규제와 조기종료를 적용한 신경망을 비교합니다. 각 에폭의 손실은 규제 항을 제외한 예측 MSE로 계산하여 비교 기준을 맞춥니다. 모델 선택은 검증 MSE로 하고, 테스트 MSE는 선택한 모델에 대해서만 계산합니다. Keras의 Torch 백엔드 사용법은 Keras에서 살펴볼 수 있습니다.

import os
os.environ["KERAS_BACKEND"] = "torch"
os.environ["CUDA_VISIBLE_DEVICES"] = ""
import json
import numpy as np
import torch
import keras
import matplotlib.pyplot as plt

torch.set_num_threads(1)
keras.utils.set_random_seed(2027)
rng = np.random.default_rng(2027)
x_all = rng.uniform(-3, 3, (480, 1)).astype("float32")
y_all = (np.sin(2 * x_all) + 0.3 * x_all
         + rng.normal(0, 0.3, x_all.shape)).astype("float32")
ids = rng.permutation(len(x_all))
parts = {"train": ids[:48], "valid": ids[48:240], "test": ids[240:]}
mean = x_all[parts["train"]].mean(axis=0)
scale = x_all[parts["train"]].std(axis=0)
x = {name: (x_all[index] - mean) / scale for name, index in parts.items()}
y = {name: y_all[index] for name, index in parts.items()}

def mse(model, inputs, targets):
    prediction = model.predict(inputs, verbose=0)
    return float(np.mean((prediction - targets) ** 2))

class PredictionCurve(keras.callbacks.Callback):
    def __init__(self):
        super().__init__()
        self.train, self.valid = [], []
    def on_epoch_end(self, epoch, logs=None):
        self.train.append(mse(self.model, x["train"], y["train"]))
        self.valid.append(mse(self.model, x["valid"], y["valid"]))

models, curves, results = {}, {}, []
for name in ("linear", "large", "regularized"):
    keras.utils.set_random_seed(2027)
    penalty = keras.regularizers.L2(0.003) if name == "regularized" else None
    layers = [keras.layers.Input((1,))]
    if name != "linear":
        layers += [keras.layers.Dense(128, activation="tanh", kernel_regularizer=penalty),
                   keras.layers.Dense(128, activation="tanh", kernel_regularizer=penalty)]
    layers += [keras.layers.Dense(1)]
    model = keras.Sequential(layers)
    model.compile(optimizer=keras.optimizers.Adam(0.01), loss="mse")
    curve = PredictionCurve()
    callbacks = [curve]
    if name == "regularized":
        # 이 모델의 val_loss에는 L2 규제 항도 포함됩니다.
        callbacks.append(keras.callbacks.EarlyStopping(
            monitor="val_loss", patience=35, restore_best_weights=True))
    model.fit(x["train"], y["train"], validation_data=(x["valid"], y["valid"]),
              epochs=400, batch_size=16, verbose=0, callbacks=callbacks)
    models[name], curves[name] = model, curve
    results.append({"model": name, "epochs": len(curve.train),
                    "train_mse": mse(model, x["train"], y["train"]),
                    "valid_mse": mse(model, x["valid"], y["valid"])})

selected = min(results, key=lambda row: row["valid_mse"])["model"]
print(json.dumps({"comparison": results, "selected": selected,
                  "test_mse": mse(models[selected], x["test"], y["test"])}, indent=2))
fig, axes = plt.subplots(1, 3, figsize=(12, 3.4), sharey=True)
for ax, (name, curve) in zip(axes, curves.items()):
    epochs = np.arange(1, len(curve.train) + 1)
    ax.plot(epochs, curve.train, label="train MSE")
    ax.plot(epochs, curve.valid, label="validation MSE")
    ax.set(title=name, xlabel="epoch", ylabel="prediction MSE")
    ax.legend()
fig.tight_layout()
plt.show()
합성 회귀 데이터에서 계산한 학습·검증 MSE입니다. 규제 모델의 마지막 곡선 값과 최종 복원된 모델의 MSE는 다를 수 있습니다.

Figure 1:합성 회귀 데이터에서 계산한 학습·검증 MSE입니다. 규제 모델의 마지막 곡선 값과 최종 복원된 모델의 MSE는 다를 수 있습니다.

모델학습 에폭학습 MSE검증 MSE최종 테스트 MSE
선형 모델4000.52160.5734—
큰 신경망4000.07320.14120.1218
L2·조기종료 신경망2770.10960.1980—

학습48개·검증192개·테스트240개의 고정된 합성 표본에서 얻은 결과입니다. 선형 모델은 두 손실이 높은 값에 머무릅니다. 큰 신경망은 학습 손실과 검증 손실이 함께 줄어들어 이 실험의 검증 기준으로 선택됐습니다. 학습·검증 격차만으로 과대적합을 단정하지 않으며, 이 그림에서 검증 손실이 지속적으로 증가하는 뚜렷한 과대적합 곡선은 나타나지 않았습니다. L2·조기종료 모델은 이 설정에서 더 높은 검증 MSE를 보였습니다. 규제 강도와 종료 기준은 검증 결과로 선택해야 합니다. 선택한 큰 신경망의 테스트 MSE는0.1218이며, 한 번의 합성 실험으로 실제 데이터의 일반화 성능을 판단하지는 않습니다.

모델 용량과 데이터 양

모델 용량이 커지면 더 복잡한 함수를 표현할 수 있습니다. 그러나 매개변수 수만으로 학습 가능성과 일반화 성능을 결정할 수는 없습니다. 구조, 최적화, 규제, 데이터의 관계가 함께 작용합니다. 모델을 깊게 하거나 데이터를 늘린다고 검증 성능이 반드시 단조롭게 좋아지는 것은 아닙니다. 중복되거나 편향된 표본을 늘리는 것과 새로운 조건을 포함한 표본을 확보하는 것은 다릅니다.

데이터 양에 따른 학습곡선은 같은 평가 조건에서 학습 표본 수를 바꾸어 그립니다. 학습·검증 오차가 높은 값에서 함께 정체하면 모델이나 특징을 점검하고, 표본 수 증가에 따라 검증 오차가 계속 감소하면 추가 데이터 확보를 검토할 수 있습니다. 반복 실험의 변동도 함께 확인합니다. 사전 학습 표현을 활용하는 방법은 전이 학습에서 다룹니다.

규제와 조기종료

L2 규제는 큰 가중치에 비용을 부여합니다. 이 장에서는 다음 표기처럼 1/21/2를 포함하지 않는 규제 계수 λ\lambda를 사용합니다.

J(θ)=R^train(θ)+λ∑j∈Wθj2.J(\theta)=\widehat R_{\mathrm{train}}(\theta) +\lambda\sum_{j\in\mathcal W}\theta_j^2.

W\mathcal W는 규제를 적용한 가중치의 집합입니다. 위 예제에서는 은닉층의 커널에만 적용합니다. Keras의 L2(0.003)도 가중치 제곱합에 0.003을 곱합니다. 규제가 너무 강하면 유효한 패턴도 학습하지 못할 수 있습니다.

방법작용주의점
L2가중치 크기에 비용 부여규제 포함 손실과 예측 오차를 구분합니다.
Dropout학습 중 일부 활성값을 무작위로 제거추론에서는 비활성화하며 비율을 검증합니다.
데이터 증식정답을 유지하는 입력 변형 제공실제 문제에서 정답이 보존되는 변형인지 확인합니다.
조기종료검증 기준이 개선되지 않으면 학습 종료평가 잡음과 대기 에폭 수를 고려합니다.

위 코드의 EarlyStopping은 규제 항이 포함된 val_loss를 기준으로 종료하고 그 기준이 가장 좋았던 가중치를 복원합니다. 복원 후 후보 비교에는 예측 MSE를 사용합니다. 순수 검증 MSE를 종료 기준으로 쓰려면 그 값을 별도 지표로 기록하고 해당 지표를 모니터링해야 합니다. 데이터 증식에서는 영상 변형을 실제 분류 문제에 적용합니다.

매니폴드 가설

영상의 픽셀 수처럼 관측 공간의 차원은 매우 높아도, 실제 데이터의 변화는 더 적은 수의 요인으로 설명될 수 있습니다. 매니폴드 가설은 데이터가 높은 차원의 주변 공간 전체를 채우기보다 낮은 내재 차원의 구조 근처에 분포한다는 가설입니다. 표현 학습은 이 구조에서 예측에 필요한 요인을 드러내는 표현을 찾는 과정으로 볼 수 있습니다. Bengio·Courville·Vincent의 표현 학습 논문은 이 관점을 설명합니다.

아래 Swiss roll은 두 좌표 (t,h)(t,h)로 만든 합성 예제입니다. 3차원 좌표는 (tcos⁡t,h,tsin⁡t)(t\cos t,h,t\sin t)입니다. 높이가 같은 두 점에서 주변 공간의 직선 거리는 감긴 층을 가로지를 수 있습니다. 반면 곡면을 따라가는 최단 거리는 감긴 방향의 호 길이입니다.

s(t)=12(t1+t2+arsinh⁡t),dsurface=∣s(t2)−s(t1)∣(h1=h2).s(t)=\frac12\left(t\sqrt{1+t^2}+\operatorname{arsinh}t\right),\qquad d_{\mathrm{surface}}=|s(t_2)-s(t_1)|\quad(h_1=h_2).

여기서 tt 자체는 호 길이가 아닙니다. 펼친 좌표 (s(t),h)(s(t),h)는 이 예제의 곡면 거리 구조를 보존합니다. 실제 데이터에서는 이러한 좌표를 알고 있지 않으며, 적은 표본으로 구조를 추정하기도 어렵습니다.

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(2027)
t = rng.uniform(1.5 * np.pi, 4.5 * np.pi, 1000)
h = rng.uniform(0, 12, 1000)
points = np.column_stack((t * np.cos(t), h, t * np.sin(t)))
def arc(t):
    return 0.5 * (t * np.sqrt(1 + t*t) + np.arcsinh(t))

t0, t1, height = 2*np.pi, 4*np.pi, 6.0
pair = np.array([[v*np.cos(v), height, v*np.sin(v)] for v in (t0, t1)])
path_t = np.linspace(t0, t1, 300)
path = np.column_stack((path_t*np.cos(path_t),
                        np.full_like(path_t, height), path_t*np.sin(path_t)))
print({"ambient_distance": float(np.linalg.norm(pair[1] - pair[0])),
       "surface_distance": float(arc(t1) - arc(t0))})
fig = plt.figure(figsize=(10, 4))
ax = fig.add_subplot(121, projection="3d")
ax.scatter(points[:, 0], points[:, 1], points[:, 2], c=t, s=5, cmap="viridis")
ax.plot(*path.T, color="red", label="surface path")
ax.plot(*pair.T, color="black", linestyle="--", label="ambient chord")
ax.set(xlabel="x", ylabel="height", zlabel="z", title="synthetic Swiss roll")
ax.legend()
flat = fig.add_subplot(122)
flat.scatter(arc(t), h, c=t, s=5, cmap="viridis")
flat.plot([arc(t0), arc(t1)], [height, height], color="red")
flat.set(xlabel="arc length s(t)", ylabel="height", title="intrinsic coordinates")
fig.tight_layout()
plt.show()
합성 Swiss roll의 주변 공간과 펼친 내재 좌표입니다. 점선은 주변 공간의 직선 경로이고 빨간 선은 데이터 곡면을 따르는 경로입니다.

Figure 2:합성 Swiss roll의 주변 공간과 펼친 내재 좌표입니다. 점선은 주변 공간의 직선 경로이고 빨간 선은 데이터 곡면을 따르는 경로입니다.

거리값경로
주변 공간의 직선거리6.2832감긴 층 사이를 가로지르는 선분
곡면을 따르는 거리59.5630같은 높이에서 감긴 표면을 따라가는 경로

가까운 표본 사이의 구조와 예측 관계를 잘 포착하면 관측하지 않은 표본으로 정보를 전달하는 데 도움이 될 수 있습니다. 그러나 기하학적으로 가깝다는 사실만으로 정답이 같거나 함수가 부드럽다고 보장되지는 않습니다. 서로 다른 클래스가 인접할 수도 있고, 데이터가 여러 구조의 혼합일 수도 있습니다. 잡음, 분포 변화, 표본 부족은 구조 추정을 어렵게 합니다. 모든 실제 데이터가 하나의 매끄러운 매니폴드에 정확히 놓인다고 가정해서는 안 되며, 매니폴드 가설만으로 일반화가 보장되는 것도 아닙니다.

참고 자료