Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

퍼셉트론

1943 MCP 뉴런

생물학적 뉴런의 수학적 모델

두뇌에서 출발한 인공지능

지능은 개별 관측치에 반응하는 데 그치지 않고, 그 관측치를 지배하는 원인을 통찰해 모형을 형성하는 능력이다. 사과가 떨어지는 것을 보고 어째서 떨어지는지 모형을 세우고, 그 모형이 다른 경우에도 설명력이 있는지 확인하는 과정은 지능적이다. 이런 모형을 형성하는 기관이 바로 두뇌다.

19세기 말, 현미경의 발전으로 두뇌의 기본 단위가 뉴런임이 밝혀졌고, 뉴런이 전달하는 것이 전기 신호임이 드러났다. 생각과 감정이 전기 신호로 구체화되면, 그것은 전자회로로 재현할 수 있음을 뜻한다. 의사 맥컬럭(McCulloch)과 논리학자 피츠(Pitts)는 뉴런에서 생물학적 요소를 걷어내고 연산할 수 있는 수학적 틀을 제시하고자 했다. 수학으로 표현될 수 있어야 전자회로로 만들 수 있고, 전자회로로 만들 수 있는 것은 잠재적으로 컴퓨터 프로그램으로 구현할 수 있다.

그 결과가 1943년의 MCP 뉴런이며, 우리의 맥락에서는 인공 뉴런 또는 그냥 뉴런이라고 부른다. MCP 뉴런은 입력을 받아 가중치를 부여하고, 이를 단일한 값으로 취합한 뒤, 일정한 기준에 따라 판단해 출력을 발생한다. 입력 xx는 여러 특징으로 구성된 벡터이며, 정보는 통째로가 아니라 여러 특징으로 나뉘어 처리된다. 최종 출력은 1 또는 -1의 값이다.

MCP 뉴런의 동작 흐름: 입력을 받아 가중치를 부여하고, 단일 값으로 취합한 뒤 활성화로 출력을 결정한다.

입력 특징 벡터

입력에 가중치 부여

입력을 차등해 처리하는 능력이 곧 지능적인 동작이다. 모든 입력을 있는 그대로 받아들이는 것은 지능적이라고 하기 어렵다. 지능적인 존재는 상황에 따라 중요한 정보와 그렇지 않은 정보를 나누고, 중요한 것을 우선해서 처리한다.

이 차등 처리를 수학적으로 표현한 것이 가중치이며, 입력에 곱해지는 값이다. 입력 값을 얼마나 부각시키는지를 표현하는 데에는 곱하기가 적당하기 때문이다. 예를 들어 입력이 0.1일 때 가중치가 0.1이면 결과는 0.01이지만, 같은 입력에 가중치가 10이면 결과는 1.0이 된다. 가중치가 클수록 그 입력의 효과를 더 강조하는 것이다. 반대로 가중치가 0이면 어떤 입력이 들어와도 출력에 기여하는 바가 없으므로, 처음부터 들어오지 않은 것과 마찬가지다. 즉 그 입력은 중요하지 않다고 평가한 셈이다.

가중치가 부여된 입력은 단일한 값으로 합쳐진다. 취합하는 방법은 간단하다. 모두 더하면 된다. 이때는 곱하기가 아니라 더하기를 써야 한다. 곱하기를 쓰면 어느 하나가 0일 때 전체 출력이 0이 되어 버리기 때문이다. 취합한 결과는 입력 xx, 출력 yy와 겹치지 않도록 zz로 표기한다.

이 연산은 두 벡터 xx와 ww의 내적과 같다.

z=∑iwixi=x⋅wz = \sum_i w_i x_i = x \cdot w

입력이 하나의 벡터일 때 zz는 스칼라가 된다. 실제 데이터에서는 입력이 nn개의 특징으로 표현된 표본 ss개로 이루어진 2차원의 디자인 행렬 XX이며, 가중치는 특징과 일대일로 대응하므로 여전히 길이 nn의 벡터다. 같은 내적 연산으로 입력이 벡터일 때나 행렬일 때나 zz를 구할 수 있고, 입력이 행렬이면 zz는 벡터가 된다.

여러 값을 하나로 취합하는 것은 금융시장의 주가지수에 비유할 수 있다. 어떤 종목은 오르고 어떤 종목은 내릴 때, 개별 등락만 나열해서는 시장 전체가 좋은지 나쁜지 알기 어렵다. 그래서 이를 단일한 지표로 취합한다. 가중치가 부여된 입력을 하나의 값으로 모으는 것도 같은 이유에서 효율적이다.

가중치가 부여된 입력의 취합은 두 벡터의 내적과 같으며, 결과 z는 스칼라가 된다.

활성화 (Activation)

취합된 zz는 음과 양의 무한대까지 이르는 실수다. 이를 어떤 임계점 bb를 기준으로 평가해 최종 출력을 결정하며, 이 과정을 활성화라고 한다. 임계점 bb는 편향(bias)이라 부른다. zz가 bb를 넘으면 1, 그렇지 않으면 -1을 출력한다.

투자에 비유하면 zz는 정보가 취합된 종합 지표이고, yy는 사거나 파는 행동이다. 같은 지표라도 어떤 임계점을 기준으로 삼는가에 따라 행동은 완전히 달라진다. 누군가는 지표가 높이 올라야 사고, 누군가는 조금만 올라도 판다. 그래서 가중치와 더불어 편향도 지능적 동작에 기여하는 중요한 요인이다.

출력을 1과 -1로 두는 것은 전기 신호의 관점에서 비롯한다. 아무 입력이 없으면 출력은 0이므로, 두 값을 구별할 때 하나를 1로 둔다면 다른 하나는 0이 아니라 -1로 두는 편이 자연스럽다. 다만 컴퓨터의 논리 세계에서는 '없는 값’도 하나의 값이어서 0과 구별되므로, 프로그램으로 구현할 때는 -1 대신 0을 써도 무방하다.

zz를 임계점 bb와 비교하는 대신, 편향을 zz 안으로 옮기면 식이 한결 깔끔해진다. z=w1x1+w2x2+bz = w_1 x_1 + w_2 x_2 + b로 두면, 활성화는 단순히 zz를 0과 비교하는 것으로 충분하다. 가중치 ww와 편향 bb는 모두 뉴런의 동작을 결정하는 매개변수다.

더 나아가 편향을 w0w_0으로, 항상 1인 가짜 입력을 x0x_0으로 두면 편향까지 가중치에 흡수해 표기할 수 있다.

z=∑i=0wixi=x⋅wz = \sum_{i=0} w_i x_i = x \cdot w

x0x_0은 언제나 1이므로 곱셈에서 아무 역할을 하지 않지만, 전체 식의 모양을 가중치와 입력의 곱으로 통일해 준다. 이렇게 보면 출력 yy는 입력 xx의 함수이며, 그 함수의 형태는 매개변수 θ\theta(가중치와 편향)의 설정에 따라 달라진다. 따라서 특별한 이유가 없으면 매개변수와 가중치를 거의 같은 의미로 사용하고, 편향이 필요한 경우에만 따로 명시한다.

뉴런 모형: 편향을 가중치에 흡수해 z를 구하고, 활성화 함수 A(계단함수)를 거쳐 출력 y를 낸다.

MCP 뉴런의 동작은 가중치와 편향, 곧 매개변수가 결정한다. 같은 구조라도 매개변수를 어떻게 두는가에 따라 하나의 뉴런이 AND, OR, NAND 논리회로가 될 수 있다. 논리회로의 특성은 두 입력에 대한 출력을 정리한 진리표로 표현된다.

이 점이 중요한 까닭은, 컴퓨터가 결국 논리회로의 조합이기 때문이다. NAND 게이트의 조합만으로 임의의 프로그램을 실행하는 컴퓨터를 구성할 수 있다는 사실이 알려져 있다. 무언가가 지능적이고 '스마트’하다는 것은 특정 기능에 특화된 특수성의 반대, 곧 여러 상황에 일반적으로 적용할 수 있음을 뜻한다. MCP 뉴런으로 논리회로를 만들 수 있다는 것은, 뉴런의 조합이 잠재적으로 어떤 연산이든 수행할 수 있는 일반성을 지닐 수 있음을 시사한다.

결정 경계

x=(x1,x2) x = \left( x_1, x_2 \right)

z=w1x1+w2x2+by={+1z>0−1z≤0\begin{aligned} z &= w_1 x_1 + w_2 x_2 + b \\ y &= \begin{cases} +1 \quad z > 0 \\ -1 \quad z \leq 0 \end{cases} \end{aligned}

결정 경계는 출력값이 나뉘는 경계입니다. 즉, z=0 z = 0

0=w1x1+w2x2+bx2=w1−w2x1+b−w2\begin{aligned} 0 &= w_1 x_1 + w_2 x_2 + b \\ x_2 &= \frac{w_1}{-w_2} x_1 + \frac{b}{-w_2} \end{aligned}

1958 퍼셉트론

MCP 뉴런이 매개변수를 스스로 학습하기까지는 1950년대 후반을 기다려야 했다. 1958년 프랭크 로젠블랫(Frank Rosenblatt)이 MCP 뉴런에 학습 능력을 부여한 퍼셉트론을 발명한다. 세포 수준이긴 하지만, 이때 비로소 인공지능이 시작되었다고 할 수 있다. 신경망의 조상인 로젠블랫의 퍼셉트론은 광전 전지와 케이블을 결합한 장치로 알파벳 문자를 인식했다.

퍼셉트론은 MCP 뉴런의 틀을 그대로 유지하면서, 정답과 예측값의 차이인 오차를 기반으로 가중치를 스스로 조절하는 학습 알고리즘을 더한 것이다. 출력은 가중치와 편향으로 이루어진 매개변수의 설정에 따라 달라지므로, 이 매개변수를 데이터로부터 스스로 갱신해 정답을 향해 갈 수 있어야 비로소 학습 능력이 있다고 말한다.

퍼셉트론의 출력은 1 또는 -1의 이진 분류다. 정답과 예측의 조합은 네 가지인데, 부호가 같으면 정답을 맞춘 것이어서 오류가 없고, 부호가 반대이면 오류가 발생한다. 오류가 없으면 가중치가 바람직한 경우이고, 오류가 있으면 가중치를 조절해야 한다는 뜻이다.

갱신의 크기는 학습률로 조절한다. 한 번에 너무 크게 갱신하면 정답을 사이에 두고 지나쳐 버릴 수 있고, 너무 작게 갱신하면 주어진 학습 횟수 안에 정답에 이르지 못할 수 있다. 적절한 학습률을 두면 정답을 향해 점차 좁혀 간다. 학습률은 학습 환경에 해당하며, 모델이 학습하는 대상인 매개변수와는 구별된다.

또한 갱신값에 각 특징의 값을 곱해 준다. 만약 모든 가중치를 같은 값으로 갱신하면 모든 입력을 똑같이 취급하게 되어, 정보를 차등 처리하는 지능적 동작을 할 수 없다. 갱신값에 특징값을 곱하면 특징의 크기에 따라 각 가중치가 서로 다르게 갱신되므로, 입력마다 알맞은 의미를 부여할 수 있다.

학습 시각화

종양 분류

종양 데이터

종양 분류

다중 퍼셉트론

복수 개의 퍼셉트론이 같은 입력을 받아 동시 다발적으로 출력을 발생하는 구성

퍼셉트론에서는 입력과 가중치가 일대일로 대응했다. 반면 다중 퍼셉트론에서는 여러 개의 입력이 여러 개의 뉴런에 모두 연결되므로, 입력과 가중치가 일대다의 관계로 바뀐다. 즉 하나의 입력에 대해 출력 뉴런의 수만큼 가중치가 생긴다. 그래서 각 층의 학습 매개변수는 1차원의 벡터가 아니라 행렬 형상의 텐서가 된다. 어느 뉴런의 가중치인지를 구별하기 위해, 출력 뉴런 1번에는 w11,w12w_{11}, w_{12}, 2번에는 w21,w22w_{21}, w_{22}와 같이 첨자로 표기한다. 편향은 입력 개수와 무관하게 뉴런마다 하나씩 있으므로 b1,b2b_1, b_2처럼 순차적으로 둔다.

붓꽃 분류

1969 XOR

단일 퍼셉트론은 하나의 선형 결정 경계만 그릴 수 있어 XOR처럼 선형으로 나뉘지 않는 데이터는 분류하지 못한다. 그러나 여러 퍼셉트론을 겹겹이 쌓아 적절히 구성하면 이 한계를 넘을 수 있다. 각각 NAND, OR, AND로 동작하는 퍼셉트론을 연결해 NAND와 OR의 출력을 다시 AND의 입력으로 넣으면, 최종적으로 XOR 출력을 얻는다. 이런 까닭에 이미 1960년대부터 다층 퍼셉트론, 곧 인공 신경망이 나아갈 방향이라는 점은 공감되고 있었다.

인공 신경망은 흔히 신경망이라 줄여 부르며, 다층 퍼셉트론과 같은 말이다. 신경망은 입력과 출력 사이에 여러 층을 두어 둘을 간접적으로 연결하며, 이 사이에 삽입되는 층을 은닉층이라 한다. 은닉층은 한 개 이상의 뉴런으로 구성되고, 데이터가 복잡할수록 뉴런 수와 층의 깊이가 늘어나야 효과적일 가능성이 높다. 층이 깊어진 구성을 딥러닝이라 한다. 다만 신경망과 딥러닝이 완전한 동의어는 아니다. 신경망으로 딥러닝을 구성하지만 모든 신경망이 딥러닝은 아니며, 신경망으로 딥러닝을 수행하기까지는 21세기의 여러 발전이 필요했다.

다층 퍼셉트론으로 XOR 구성: NAND와 OR의 출력을 다시 AND의 입력으로 넣어 최종 XOR 출력을 얻는다.