Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

케라스로 신경망 구성

Part 1에서 우리는 퍼셉트론에서 출발해 다층 신경망과 역전파, CNN까지 신경망의 내부 동작을 손으로 따라가며 익혔다. 이 장의 목표는 그 이해를 바탕으로 고수준 프레임워크로 올라서는 것이다. 같은 신경망을 (1) 선형 분류기, (2) PyTorch의 nn.Sequential, (3) 케라스(Keras)의 Sequential로 차례로 구현하며 추상화 단계가 올라갈수록 같은 일을 얼마나 더 짧게 표현할 수 있는지 비교한다.

출발점은 분류를 확률 모델로 보는 관점이다. 신경망의 마지막 층과 손실함수는 결국 '입력이 각 범주에 속할 확률’을 추정하는 장치이며, 이 관점은 로지스틱 회귀에서 가장 깨끗하게 드러난다.

확률 모델링

붓꽃(iris) 데이터로 시작한다. 꽃받침/꽃잎의 길이·너비 4개 특징으로 3개 품종을 구분하는 다중 분류 문제다.

로지스틱 회귀는 이름과 달리 분류기다. 각 범주마다 가중치 벡터를 두고 입력의 선형결합을 계산한 뒤, 그 값들을 확률로 변환해 가장 큰 확률의 범주를 예측한다.

틀린 표본들은 대개 두 품종의 경계에 걸쳐 있다. 두 특징만으로 산점도를 그려 보면 오답(검은 ×)이 어디에 분포하는지 한눈에 들어온다.

모델이 학습한 것은 가중치 행렬 WW와 편향 bb다. 입력 XX에 대해 범주별 점수(로짓, logit)는

Z=XW⊤+bZ = X W^{\top} + b

로 계산되며, 이것이 사이킷런의 decision_function 값과 정확히 일치한다. 이 점수를 확률로 바꾸는 함수가 **소프트맥스(softmax)**다.

softmax(z)k=ezk∑jezj\text{softmax}(z)_k = \frac{e^{z_k}}{\sum_j e^{z_j}}

소프트맥스는 점수 벡터를 합이 1인 양수 벡터, 즉 확률분포로 만든다. 가장 큰 로짓이 가장 큰 확률이 되므로 argmax(Z)로 얻은 예측은 확률 최대 범주와 같다. 선형 점수 → 소프트맥스 → 교차엔트로피로 이어지는 이 구조가 앞으로 만들 모든 분류 신경망의 출력부와 동일하다.

MNIST

이제 손글씨 숫자 데이터셋 MNIST로 옮겨 간다. 28×28 회색조 이미지 7만 장(학습 6만, 평가 1만)으로 이루어진, 딥러닝의 "Hello World"다. torchvision으로 내려받는다.

전처리

원본 표본은 PIL 이미지이고 픽셀값은 0~255의 정수다. 신경망에 넣으려면 (1) 실수형으로 바꾸고, (2) 255로 나눠 [0,1][0, 1]로 정규화하고, (3) 채널 차원을 붙여 텐서로 만들어야 한다. 아래는 이 과정을 손으로 펼쳐 본 것이다.

이 일련의 변환을 한 줄로 처리해 주는 것이 transforms.ToTensor()다. 형변환, 정규화, 채널 차원 추가를 모두 수행해 (1, 28, 28) 형상의 float32 텐서를 돌려준다.

완전연결(fully-connected) 층에 넣으려면 이미지를 1차원 벡터로 펴야 한다. (1, 28, 28)의 원소 수는 1×28×28=7841 \times 28 \times 28 = 784이며, reshape(-1)의 -1은 "나머지가 알아서 채워질 차원"을 뜻한다.

PyTorch 모델

Part 1에서 한 층씩 직접 쌓던 것을 이제 torch.nn으로 선언적으로 구성한다. Flatten으로 이미지를 펴고, Linear(784, 512) + ReLU로 은닉층을, Linear(512, 10)으로 10개 숫자에 대한 로짓을 출력한다. 손실은 CrossEntropyLoss인데, 이 함수는 로짓을 직접 받아 내부에서 소프트맥스와 로그우도를 함께 계산한다. 그래서 출력층에 별도의 소프트맥스를 두지 않는다.

학습

학습 루프의 뼈대는 Part 1과 같다. 미니배치마다 세 단계를 반복한다.

  1. 순전파·손실 계산: outputs = model(X_batch) → loss = 손실함수(...)

  2. 역전파: zero_grad()로 이전 경사를 비우고 loss.backward()로 경사를 구한다

  3. 갱신: optimizer.step()으로 매개변수를 한 걸음 옮긴다

GPU가 있으면 모델과 배치를 .to(device)로 옮겨 같은 코드를 가속한다. 최적화기로는 RMSprop을 쓴다.

평가

평가 단계에서는 경사가 필요 없으므로 torch.inference_mode() 안에서 순전파만 수행한다. 전체 평가셋의 출력을 이어붙인 뒤 argmax로 예측을 뽑아 정확도를 집계한다.

nn.Linear의 정체

nn.Linear가 내부에서 하는 일은 단순한 행렬 연산이다. 가중치 weight와 편향 bias를 꺼내 직접 계산해 보면 층의 출력과 정확히 일치한다.

nn.Linear(X)=XW⊤+b\text{nn.Linear}(X) = X W^{\top} + b

여기서 전치 W⊤W^{\top}가 붙는다는 점을 기억해 두자. 잠시 뒤 케라스와 비교할 때 핵심이 된다.

케라스로 갈아타기

케라스는 여러 백엔드(backend) 위에서 동작하는 고수준 신경망 API다. 환경변수 KERAS_BACKEND='torch'로 설정하면 케라스의 연산을 PyTorch가 실제로 수행한다. 즉, 케라스로 모델을 기술하되 텐서 연산과 자동미분은 우리가 이미 익숙한 PyTorch가 담당한다.

keras.layers.Dense와 전치의 차이

케라스의 완전연결 층은 Dense이고, nn.Linear와 같은 일을 한다. 다만 가중치 행렬을 두는 방향이 다르다.

keras.layers.Dense(X)=XW+b\text{keras.layers.Dense}(X) = X W + b

전치가 없다. 두 식을 나란히 놓으면 관계가 분명해진다.

프레임워크연산가중치
nn.LinearXW⊤+bX W^{\top} + bweight
keras.layers.DenseXW+bX W + bkernel

즉 같은 층의 가중치를 서로 옮기려면 전치가 필요하다: nn.Linear.weight = keras.layers.Dense.kernel.T. 아래에서 get_weights()로 꺼낸 행렬로 직접 계산해 출력과 일치함을 확인한다.

케라스 모델: compile / fit / evaluate

케라스의 진짜 이점은 학습 루프를 직접 쓰지 않는다는 데 있다. 모델을 Sequential로 선언하고, compile로 손실·최적화기·평가지표를 묶고, fit 한 번으로 학습한다. 앞서 손으로 짠 이중 for 문 전체가 fit 한 줄로 압축된다.

손실은 SparseCategoricalCrossentropy(from_logits=True)를 쓴다. from_logits=True는 출력이 아직 소프트맥스를 거치지 않은 로짓임을 알려 주는 설정으로, PyTorch에서 CrossEntropyLoss가 로짓을 받던 것과 같은 맥락이다. metrics=['accuracy']로 손실 외에 정확도도 함께 추적한다.

평가 역시 evaluate 한 번이면 손실과 정확도를 돌려준다.

백엔드가 PyTorch이므로 모델에 PyTorch 텐서 배치를 그대로 넣을 수 있고, 출력도 PyTorch 텐서로 나온다. 케라스 모델과 PyTorch 자료형이 매끄럽게 섞인다.

케라스가 이렇게 간결한데도 연구·실무에서 PyTorch를 많이 쓰는 한 가지 이유는 그 텐서 API가 NumPy와 거의 똑같이 생겼다는 점이다. NumPy에 익숙한 사람이라면 np.linspace를 torch.linspace로 바꿔 쓰는 정도의 감각으로 바로 적응할 수 있다.

미니 배치

학습 데이터를 통째로 한 번에 넣지 않고 작은 묶음(배치)으로 잘라 흘려 보내는 것이 미니배치다. DataLoader가 이 분할과 섞기(shuffle)를 담당한다. 배치 수는 전체 표본 수를 배치 크기로 나눈 값(올림)이며, 마지막 배치는 크기가 모자랄 수 있다.

배치 크기는 학습의 안정성과 속도를 가르는 손잡이다. 한 번의 순전파에 들어가는 표본 수를 바꿔 가며 손실과 계산 시간을 재 보면, 배치가 커질수록 한 번에 처리하는 양이 늘어 단위 표본당 연산이 효율적으로 묶이는 양상을 관찰할 수 있다.

적용: Fashion MNIST

배운 것을 조금 더 어려운 문제에 적용한다. Fashion MNIST는 MNIST와 같은 28×28 회색조·10범주 형식이지만 숫자 대신 옷·신발 등의 의류 이미지여서 분류가 더 까다롭다.

먼저 기준선(baseline)으로 신경망이 아닌 로지스틱 회귀를 적용해 본다. 이미지를 펴서 784차원 벡터로 만든 뒤 선형 분류기를 학습시킨 정확도가 앞으로 만들 신경망이 넘어야 할 출발선이 된다.

이제 은닉층을 둘 쌓은 케라스 신경망으로 같은 문제를 푼다. 이전 모델과 달라진 점이 몇 가지 있다.

  • 출력층에 activation='softmax'를 직접 두었고, 손실을 SparseCategoricalCrossentropy()로(from_logits 없이) 맞췄다. 즉 “소프트맥스를 모델 안에 넣고 손실은 확률을 받는” 구성이다.

  • 최적화기를 Adam으로 바꿨다.

  • validation_data로 평가셋을 함께 넘겨, 매 에폭마다 검증 손실·정확도를 같이 기록한다.

학습 곡선을 보며 과적합 여부를 확인할 수 있다는 점이 핵심이다.

fit이 돌려주는 history에는 에폭별 학습/검증 지표가 담겨 있다. 학습 손실은 계속 내려가는데 검증 손실이 다시 오르기 시작하면 과적합의 신호다.

마지막으로, 백엔드가 PyTorch일 때 케라스 모델이 장치(device)를 어떻게 다루는지 확인한다. 입력 배치는 CPU에 있지만 케라스 모델은 가용한 GPU를 자동으로 탐지해 연산을 수행하고, 출력 텐서의 위치로 그것이 드러난다.

정리

이 장에서는 같은 분류 신경망을 추상화 단계를 높여 가며 세 가지 방식으로 구현했다.

단계구성학습
로지스틱 회귀선형 점수 + 소프트맥스fit (사이킷런)
PyTorchnn.Sequential직접 짠 학습 루프
케라스Sequentialcompile + fit

세 방식의 출력부는 모두 선형 점수(로짓) → 소프트맥스 → 교차엔트로피라는 동일한 골격을 공유한다. nn.Linear(XW⊤+bX W^{\top} + b)와 keras.layers.Dense(XW+bX W + b)는 가중치를 두는 방향만 다른 같은 층이며, KERAS_BACKEND='torch' 덕분에 케라스의 간결한 선언과 PyTorch의 친숙한 텐서 API를 한 코드 안에서 함께 쓸 수 있다. 손으로 짜는 학습 루프의 동작을 이해한 위에서 fit 한 줄의 편의를 누리는 것이 이 장의 결론이다.