Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

최적화 기법

최적화의 학습 흐름에서 경사 하강 → 역전파 → 최적화 기법 → 배치 학습을 살펴본 뒤, 여기서 기존 갱신 실습을 이어간다. 역전파가 계산한 기울기는 그대로 두고 매개변수를 갱신하는 규칙을 비교한다.

아래 SGD와 모멘텀 예제는 합성 이진 분류 데이터와 로지스틱 모델을 사용합니다. 기울기 산출은 같고, 매개변수 갱신식이 달라지는 것을 손실 변화로 확인합니다.

SGD

기본 갱신은 θt+1=θt−ηgt\theta_{t+1}=\theta_t-\eta g_t이다. optimizer 이름 SGD와 한 번에 사용할 데이터의 크기는 별개다. 아래 실습은 미니 배치 기울기를 사용하며, 복원 추출은 구현의 선택이지 미니 배치의 필수 조건이 아니다.

Momentum

경사 하강은 가장 널리 활용되는 최적화 기법이지만 유일한 기법은 아니다. 경사 하강은 학습 속도가 느리다는 문제가 지적되어 왔으며, 이를 개선하기 위해 갱신에 속도를 반영하는 방법이 제시되었다. 속도는 방향과 크기를 가지며, 이 방식을 모멘텀(momentum)이라 한다.

모멘텀이라는 용어는 물리학에서 가져온 것으로, 물리학에서 모멘텀은 질량과 속도의 곱이다. 같은 질량의 공이라도 빠르게 날아오는 공에 맞는 것이 느리게 날아온 공보다 더 아픈데, 이는 모멘텀이 더 크기 때문이다. 경사면 위에 질량이 기본 단위인 입자가 있다고 가정하면, 그 입자의 속도가 곧 모멘텀에 해당한다. 모멘텀은 기본적인 경사 하강의 틀을 유지하면서 경사의 방향에 따른 속도를 추가로 고려한다. 경사들이 같은 방향을 향할수록 더욱 가파르게 갱신되도록 설계되어, 잠재적으로 기존의 경사 하강보다 갱신 속도가 개선될 수 있다.

모멘텀은 1964년에 제안되었으며(Polyak, 1964), 이후 이를 기반으로 한 방법이 2013년에 새롭게 제시되기도 하였다.

적응형 학습률

공통 학습률을 시간에 따라 바꾸는 스케줄과, 매개변수별 기울기 이력으로 갱신 크기를 조절하는 적응형 기법은 구분한다. 함께 사용할 수 있으며 기본 학습률은 여전히 설정해야 한다.

AdaGrad와 RMSProp

AdaGrad는 각 매개변수의 과거 기울기 제곱을 누적한다. 누적값이 큰 매개변수일수록 같은 현재 기울기에 대한 갱신 크기를 줄인다. 제곱합을 그대로 나누는 것이 아니라, 일반적으로 제곱근과 작은 안정화 상수 ϵ\epsilon을 분모에 사용한다.

st=st−1+gt2,θt+1=θt−ηgtst+ϵs_t=s_{t-1}+g_t^2, \qquad \theta_{t+1}=\theta_t-\eta\frac{g_t}{\sqrt{s_t}+\epsilon}

벡터의 제곱·제곱근·나눗셈은 원소별 연산이다. 누적합이 계속 커지면 유효 갱신 크기가 지나치게 작아질 수 있다. PyTorch Adagrad 문서

RMSProp은 전체 이력을 같은 비중으로 더하는 대신 기울기 제곱의 지수 이동 평균을 사용한다.

st=ρst−1+(1−ρ)gt2s_t=\rho s_{t-1}+(1-\rho)g_t^2

오래된 기울기의 영향이 점차 작아지므로 최근 기울기 크기를 더 반영한다. AdaGrad의 누적합과 달리 sts_t가 항상 증가하지는 않는다. 두 기법의 핵심 차이는 기울기 제곱의 이력을 저장하는 방식이다. PyTorch RMSprop 문서

Adam과 AdamW

Adam은 기울기의 지수 이동 평균과 기울기 제곱의 지수 이동 평균을 함께 사용한다. 전자는 방향의 이력을, 후자는 크기의 이력을 반영한다. 두 이력을 0으로 초기화하면서 생기는 초기 편향도 보정한다. 이름은 adaptive moment estimation, 즉 적응적 모멘트 추정에서 유래한다. 기본 학습률, 두 이동 평균의 감쇠율, 안정화 상수 등을 설정하며, 기본값을 쓰더라도 문제에 맞는 검증은 필요하다. Adam 원논문

AdamW는 Adam의 적응형 갱신과 가중치 감쇠(weight decay)를 분리한다. 가중치 감쇠는 매개변수의 크기를 줄이는 정규화 방식이다. Adam에서는 손실에 L2 항을 더해 기울기에 섞는 것과, 매개변수를 별도로 감쇠하는 것이 일반적으로 같지 않다. AdamW는 후자를 사용하므로 Adam에 L2 항을 추가한 것과 구분해야 한다. AdamW 원논문

최적화 기법 선택

  • SGD: 현재 기울기를 그대로 사용한다.

  • 모멘텀: 갱신 방향의 이력을 누적한다.

  • AdaGrad: 기울기 제곱의 누적합으로 매개변수별 갱신 크기를 조절한다.

  • RMSProp: 기울기 제곱의 이동 평균을 사용한다.

  • Adam: 기울기와 기울기 제곱의 이동 평균을 함께 사용하고 초기 편향을 보정한다.

  • AdamW: Adam의 갱신에서 가중치 감쇠를 분리한다.

어떤 기법이 항상 우수하다고 정할 수는 없다. 같은 데이터 분할과 평가 기준에서 학습률 등을 조정해 비교하고, 검증 성능뿐 아니라 학습 시간과 메모리도 살핀다. 최적화 기법만 바꾸고 모든 기법에 같은 학습률을 적용하면 각 기법을 충분히 비교하지 못할 수 있다.

최적화 코드 검토

이 장의 핵심 연산을 입력 형상, 출력 형상과 매개변수 갱신 과정에 연결하여 설명해 보세요. optimizer에 전달되는 기울기와 학습률, 갱신 전후의 매개변수를 확인하면 코드가 의도한 계산을 수행하는지 검토할 수 있습니다. 작은 입력의 일부 값을 바꾸어 같은 원리가 유지되는지 비교해 보세요.