Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

1986 오차역전파

신경망 학습에 필요한 것은 각 가중치와 편향에 대한 손실의 기울기다. 최적화의 학습 흐름에서 본 경사 하강은 이 기울기를 사용해 매개변수를 갱신하고, 역전파는 기울기를 계산한다.

중심 수치 미분은 매개변수마다 손실을 두 번 평가하므로, 매개변수가 PP개면 기울기 계산에 약 2P2P회의 순전파가 필요하다. 증가량은 매개변수 수에 비례하며 조합의 수가 지수적으로 폭발하는 것은 아니다.

역전파는 합성 함수의 연쇄 법칙을 계산 그래프의 역방향으로 적용하는 역방향 자동 미분이다. 순전파의 중간값과 상류에서 전달된 미분을 재사용해 많은 매개변수의 기울기를 함께 구한다. 한 번의 순전파와 역방향 계산이 필요하며, 역방향 계산 자체도 연산 비용이 든다. 계산량은 그래프의 연산량에 따라 늘어나지만 매개변수마다 전체 순전파를 새로 수행하지 않는다. 층 수와 연결 구조가 미리 정해진 신경망에서도 이 장점은 같다.

각 연산의 국소 미분에 상류 미분을 결합하며, 여러 경로로 이어진 입력에는 경로별 기여를 더한다. 역전파가 매개변수를 직접 바꾸지는 않는다. 계산된 기울기를 SGD나 Adam 같은 optimizer가 사용한다. 1986년의 연구는 신경망 학습에서 역전파를 널리 알린 계기였으며, 역전파만이 신경망을 학습할 수 있는 유일한 방법이라는 뜻은 아니다.

계산 그래프와 순전파

연쇄 법칙을 사용하려면 합성 함수를 국소적인 연산으로 나누어 표현하는 것이 도움이 됩니다. 수식으로 표현할 수도 있지만, 각 연산의 흐름을 계산 그래프로 시각화하면 연산별로 중간 결과가 어떻게 변하는지 살펴보기 편리하고 연쇄 법칙을 이해하는 데도 도움이 됩니다. 계산 그래프는 각 연산을 노드로 두고, 데이터가 전달되는 흐름을 화살표로 표시합니다. 입력으로부터 출력을 향해 값이 전달되는 과정을 순전파라고 합니다. 신경망 역시 임의의 합성 함수이고 값이 입력에서 출력을 향해 전달되므로 같은 용어를 사용합니다.

구체적인 예로 사과와 귤의 단가와 수량으로 전체 가격을 계산하는 공식을 생각해 보겠습니다.

가격={(사과단가×사과수량)+(귤단가×귤수량)}×부가세\text{가격} = \{(\text{사과단가} \times \text{사과수량}) + (\text{귤단가} \times \text{귤수량})\} \times \text{부가세}

이 공식은 더하기와 곱하기 두 종류, 네 개의 연산으로 구성된 합성 함수입니다. 무척 간단하지만 합성 함수이므로 연쇄 법칙의 효과를 그대로 논의할 수 있고, 복잡한 함수도 결국은 국소 연산의 조합이므로 분석 방법은 동일합니다. 과일의 가격은 단가와 수량의 곱이고, 여러 종류를 산다면 각 가격을 더해 합계를 낸 뒤 부가세를 곱해 최종 가격을 결정합니다. 마지막 노드에서 출력이 발생하면 순전파가 완료됩니다. 이때 입력 중 하나라도 값이 바뀌면 최종 출력도 바뀝니다. 그런데 중간 결과를 따로 저장해 두지 않았다면, 입력 하나만 바뀌어도 순전파 전체를 처음부터 다시 계산해야 합니다.

아래에서는 곱하기 연산만으로 이루어진 더 단순한 예로, 사과 가격에 부가세를 곱해 최종 가격을 구하는 순전파를 따라가 봅니다.

사과와 귤의 단가·수량으로 가격을 계산하는 합성 함수의 계산 그래프(순전파). 곱하기·더하기 네 개의 국소 연산으로 입력에서 출력을 향해 값이 전달됩니다.

역전파와 국소 미분

계산 그래프는 전체 합성 함수를 국소적 연산으로 표현하는 것이 특징입니다. 어떤 국소 연산을 ff라 하고 그 입력을 xx, 출력을 yy라고 하겠습니다. 이 출력 yy는 최종 합성 함수의 출력 zz의 입장에서 보면 중간 출력입니다. 우리가 알고 싶은 것은 국소 연산의 입력 xx가 변할 때 최종 출력 zz가 얼마나 변하는가, 즉 ∂z∂x\dfrac{\partial z}{\partial x}입니다. xx와 zz는 간접적으로 연결되어 있지만, 연쇄 법칙에 따르면 국소 연산의 입력과 출력의 변화량 관계인 ∂y∂x\dfrac{\partial y}{\partial x}를 구하고 여기에 상류에서 전달되어 온 미분을 곱하면 전체 미분을 구할 수 있습니다. 이렇게 미분은 출력에서 입력을 향해, 즉 순전파와 반대 방향으로 전달되므로 역전파라고 합니다.

더하기 역전파. 더하기 연산은 두 입력 xx, yy를 받아 단일 출력 z=x+yz = x + y를 냅니다. 각 변수에 대한 국소 미분은 ∂z∂x=1\dfrac{\partial z}{\partial x} = 1, ∂z∂y=1\dfrac{\partial z}{\partial y} = 1입니다. 따라서 상류에서 전달된 미분 dout\text{dout}에 각각 1을 곱하게 되어, 더하기 연산은 상류의 역전파를 그대로 양쪽으로 흘려보냅니다.

곱하기 역전파. 곱하기 연산 z=x×yz = x \times y의 국소 미분은 ∂z∂x=y\dfrac{\partial z}{\partial x} = y, ∂z∂y=x\dfrac{\partial z}{\partial y} = x입니다. xx가 1만큼 변할 때 zz는 yy만큼 변하고, yy가 1만큼 변할 때 zz는 xx만큼 변하기 때문입니다. 따라서 상류에서 전달받은 미분에 순전파 시점의 두 입력값을 서로 바꾸어 곱해 주면 각 입력에 대한 역전파가 됩니다. 이 때문에 곱하기 연산은 순전파 시점의 입력값을 기억해 두어야 합니다.

국소 연산 f의 입력 x와 최종 출력 z는 간접적으로 연결됩니다. 연쇄 법칙은 국소 미분 dy/dx에 상류 미분을 곱해 dz/dx를 구하게 해 주며, 미분은 순전파와 반대 방향(z→x)으로 전달됩니다.

역전파는 순전파에서 기억한 값으로 현재 입력에서의 기울기를 구한다. 스칼라 출력에서는 자기 자신에 대한 미분 1로 시작한다. 곱하기에서는 상대 입력을 곱하고 더하기에서는 상류 미분을 각 입력에 전달한다.

앞의 예에서 사과단가의 경사는 2.2, 사과수량의 경사는 110이다. 다른 값이 고정된 채 사과수량만 바뀌면 가격이 그 변수에 대해 선형이므로 2개에서 3개로 바뀔 때 715원에서 825원으로 정확히 증가한다. 일반적인 비선형 함수의 기울기는 현재 지점 근처의 변화를 근사할 뿐이다. 입력이나 매개변수가 바뀌면 다음 학습 스텝에서 순전파와 역전파를 다시 계산해야 한다.

같은 계산 그래프의 역전파. 출력에서 1로 시작하여, 곱하기는 순전파 입력을 서로 바꿔 곱하고 더하기는 값을 그대로 흘려보냅니다. 사과단가 2.2, 사과수량 110처럼 입력별 경사가 한 번에 결정됩니다(수량 2→3이면 가격 715→825).

계산 그래프로 본 시그모이드

덧셈·곱셈 같은 기본 연산을 계산 그래프의 노드로 두고 연쇄적으로 미분을 전달하면, 시그모이드처럼 여러 연산이 합성된 함수의 미분도 그래프의 역전파로 구할 수 있습니다.

sigmoid(x)=11+exp⁡(−x)\text{sigmoid}(x) = \frac{1}{1 + \exp(-x)}

시그모이드는 2010년 무렵까지 신경망 은닉층의 기본 활성화 함수로 쓰였고, 지금은 주로 ReLU로 대체되었습니다. 시그모이드 역시 여러 연산이 합성된 함수이므로 역전파 분석을 위해 계산 그래프로 표현하고 각 연산에서 전달되는 중간값을 기억해 두는 것이 좋습니다. 복잡한 합성 함수는 출력에서부터 거꾸로 내려오며 분해하는 것이 편리합니다. 최종 출력 직전의 연산은 나누기이고, 그 입력 1+exp⁡(−x)1 + \exp(-x)를 만든 것은 더하기 연산입니다. 더하기의 입력 중 1은 상수이므로 역전파에 관심이 없고, exp⁡(−x)\exp(-x)를 만든 것은 지수 함수이며, 그 입력 −x-x를 만든 것은 xx와 -1을 곱한 곱하기 연산입니다. 여기서 -1도 상수이므로 생략하면, 입력 xx에 도달하여 분해가 완료됩니다. 이제 각 국소 연산의 미분을 구해 곱하며 내려가면 시그모이드의 역전파가 됩니다.

나누기 역전파. 나누기(역수) 연산 y=1/xy = 1/x의 국소 미분은 −1x2-\dfrac{1}{x^2}입니다. 이는 출력 yy를 이용해 −y2-y^2으로 정리할 수 있는데, 이렇게 하면 나누기 연산을 한 번 줄일 수 있어 더 적은 연산으로 역전파를 수행할 수 있습니다. 결국 나누기 연산은 순전파의 출력을 기억해 두었다가, 역전파 시점에서 상류의 미분에 −y2-y^2을 곱해 하류로 전달합니다.

지수 함수 역전파. 지수 함수 y=exp⁡(x)y = \exp(x)의 미분은 출력과 동일한 exp⁡(x)\exp(x)입니다. 그래서 순전파의 출력값을 기억해 두었다가 상류에서 전달받은 미분에 곱해 주기만 하면 됩니다.

신경망 역전파 구현

신경망의 역전파

신경망의 구성 자체가 합성 함수입니다. 여러 연산을 거쳐 최종 출력이 발생하는데, 예측을 수행할 때와 달리 학습 시점에서는 손실이 최종 출력입니다. 신경망은 하나 이상의 은닉층으로 구성되며, 각 은닉층은 완전연결 연산을 거친 뒤 비선형 활성화를 적용해 다음 계층으로 출력을 전달합니다. 출력층에서는 과제에 따라 처리가 달라집니다. 회귀에서는 마지막 출력을 그대로 손실 계산에 사용하며 주로 평균제곱오차를 손실 함수로 씁니다. 분류에서는 소프트맥스를 거쳐 확률로 표현한 값을 교차 엔트로피 오차로 처리해 손실을 계산합니다. 아무리 복잡한 합성 함수도 결국은 국소 연산으로 나누어지고 그 국소 미분의 곱으로 전체 미분을 구할 수 있으므로, 신경망을 구성하는 각 연산 단위에 대해 역전파 분석을 수행한 뒤 이어 붙이면 신경망 전체 손실의 경사를 구할 수 있습니다. 이렇게 구한 경사를 경사 하강에 활용해 최적화를 수행합니다.

은닉층의 활성화로는 시그모이드 외에 ReLU도 널리 쓰입니다. 앞서 언급했듯 오늘날에는 시그모이드를 대체한 최신 활성화 함수로, 입력이 음수이면 0으로, 양수이면 입력값을 그대로 내보냅니다. 시그모이드보다 연산이 훨씬 간단하고 국소 미분도 단순합니다. 순전파 시점에 입력이 양수였던 경우에는 역전파에서 전달받은 미분을 그대로 흘려보내고, 입력이 음수였던 경우에는 전달받은 미분이 무엇이든 0으로 막습니다. 아래에서는 본문 신경망에 시그모이드 활성화를 사용하지만, 활성화 단위마다 이렇게 독립적으로 역전파를 분석할 수 있다는 점은 동일합니다.

완전연결 계층 역전파. 완전연결 계층의 출력은 입력과 가중치 행렬의 내적에 편향을 더해 발생하며, 이를 수학적으로 어파인 변환(affine transformation)이라고 합니다. 어파인 변환은 내적과 더하기 두 개의 국소 연산으로 구성되고, 계산 그래프에서는 더하기가 마지막 연산으로 계층의 출력을 냅니다. 더하기 연산의 입력은 '입력과 가중치의 내적 결과’와 '편향’입니다. 더하기는 상류의 미분을 그대로 내려보내므로 여기서 편향에 대한 경사가 결정되고, 내적이 받는 역전파 미분은 완전연결 계층이 받은 역전파 미분과 같습니다.

내적 연산의 역전파는 입력의 전치를 상류 미분과 원래와 반대 순서로 내적하는 것을 국소 연산으로 합니다. 이를 통해 가중치에 대한 경사 dW\text{dW}가 산출되고, 실제로 하류로 전달되는 역전파는 이전 입력 xx에 대한 것입니다. 가중치와 편향의 역전파는 더 이상 전달할 이전 연산이 없지만, 그것이 바로 우리가 최적화를 위해 구하고자 하는 경사 정보입니다. 이로써 완전연결 계층의 역전파 분석이 완료됩니다.

완전연결 계층의 어파인 변환은 내적과 더하기 두 국소 연산으로 구성됩니다. 더하기에서 편향 경사 db가, 내적에서 가중치 경사 dW가 결정되고, 입력 x에 대한 역전파가 하류로 전달됩니다.

소프트맥스 교차 엔트로피 역전파. 분류 출력은 마지막에 소프트맥스로 예측 확률을 발생시키고, 이 예측을 교차 엔트로피 오차로 처리해 손실을 계산합니다. 이 손실이 신경망 학습 전체의 최종 출력이므로, 그 역전파는 언제나 1입니다. 최종 출력과 국소 연산의 중간 출력이 동일하기 때문입니다.

교차 엔트로피 오차도 합성 함수이지만, 복잡한 합성 함수도 분석이 가능하다는 점을 이미 보았으므로 결론만 보겠습니다. 교차 엔트로피 오차의 역전파는 정답을 예측값으로 나눈 값에 -1을 곱한 것이고, 이 역전파를 받은 소프트맥스의 역전파는 결론적으로 예측값에서 정답을 뺀 것입니다. 소프트맥스와 교차 엔트로피는 각각 독립적인 연산이지만, 소프트맥스로 처리한 값은 주로 교차 엔트로피로 이어 처리하므로 두 연산을 묶어 분석하는 것이 편리합니다. 큰 틀에서 보면 소프트맥스 교차 엔트로피의 역전파는 '예측값에서 정답을 뺀 것’이라는 깔끔한 결론에 도달합니다.

분류 출력은 소프트맥스로 예측 확률을 내고 교차 엔트로피 오차로 손실을 계산합니다. 손실의 역전파는 1에서 시작하며, 소프트맥스·교차 엔트로피를 묶어 보면 역전파는 '예측값 − 정답’이 됩니다.