Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

단어 임베딩

신경망에 텍스트를 입력하려면 먼저 단어를 숫자로 바꿔야 한다. 어떤 형태의 숫자로 단어를 표현할 것인지가 자연어 처리의 첫 번째 관문이다. 가장 단순한 출발점은 단어를 범주형 변수로 보고 원-핫 인코딩으로 표현하는 것이다. 그러나 이 표현은 단어 사이의 의미적 관계를 전혀 담지 못한다는 근본적인 한계를 가진다. 이 장에서는 원-핫 인코딩의 문제를 짚고, 그 대안으로 단어를 저차원의 조밀한 벡터로 학습하는 임베딩(embedding) 을 살펴본다. 임베딩은 단어의 의미적 유사성을 벡터 공간의 기하학적 구조로 드러내며, 이후의 언어 모델이 텍스트를 다루는 방식의 토대가 된다.

원-핫 인코딩과 그 한계

텍스트의 단어를 범주형 변수로 생각하면 원-핫 인코딩이 자연스러운 첫 선택지가 된다. 어휘 집합의 각 단어를 하나의 벡터로 표현하되, 어휘가 NN개라면 각 단어 벡터는 NN차원이 된다. 원-핫 인코딩의 특성상 NN차원 중 해당 단어의 위치에서만 값이 1이고 나머지는 모두 0으로 채워진다.

어휘수가 1000이라면, 단어 벡터 전체는 1000×10001000 \times 1000 단위 행렬로 표현된다. 각 행이 하나의 단어에 대응하는 원-핫 벡터다.

표기가 다른 단어는 서로 완전히 다른 벡터로 표현된다. 문제는 여기서 발생한다. '개’와 '고양이’는 표기도 다르고 개념도 다르다. 반면 '개’와 '강아지’는 완벽히 동일한 개념은 아니지만 매우 유사한 개념이다. 그런데 원-핫 인코딩은 이 차이를 전혀 구분하지 못한다.

두 벡터의 유사성은 코사인 유사도(cosine similarity) 로 측정할 수 있다.

sim(u,v)=u⋅v∥u∥ ∥v∥\text{sim}(\mathbf{u}, \mathbf{v}) = \frac{\mathbf{u} \cdot \mathbf{v}}{\lVert \mathbf{u} \rVert \, \lVert \mathbf{v} \rVert}

두 벡터가 완벽히 같은 방향이면 유사도는 1, 완전히 반대 방향이면 -1이다. 그런데 원-핫 벡터는 단 하나의 위치에서만 1을 가지므로, 서로 다른 두 단어 벡터의 내적은 항상 0이다. 즉 어떤 두 단어를 골라도 상호 유사도가 모두 0으로 계산된다.

단어 쌍실제 의미 관계원-핫 코사인 유사도
개 - 고양이다른 개념0
개 - 강아지유사한 개념0

결국 '개’와 '고양이’가 다른 만큼이나 '개’와 '강아지’도 완전히 별개의 단어로 취급되어, 둘 사이에 아무런 유사성이 없다고 평가된다. 단어 사이의 의미 관계가 이렇게 전부 소거된 표현 위에서 기계학습을 성공적으로 수행하기는 어렵다. 여기서 원-핫 인코딩이 과연 단어를 표현하는 적절한 방법인가에 대한 의문이 제기된다.

통계적 언어 모델과 N-Gram

통계적 언어 모델은 텍스트를 다음 단어의 조건부 확률로 표현한다. 조건부 확률의 조건은 그 이전에 등장한 단어들이다. 이상적으로는 이전의 모든 단어 순서를 조건으로 다음 단어의 확률을 계산하지만, 가능한 단어 조합의 수가 폭발적으로 늘어나기 때문에 이를 그대로 다루기는 어렵다.

P(wt∣w1,w2,…,wt−1)P(w_t \mid w_1, w_2, \ldots, w_{t-1})

N-Gram 모델은 이 부담을 덜기 위해, 이전의 전체 단어 순서 대신 직전 N−1N-1개의 단어만 조건으로 삼아도 통계적 언어 모델과 유사하다는 가정을 둔다. 즉 다음 단어는 직전 N−1N-1개 단어 조합으로 이루어진 맥락에 대한 조건부 확률표로 근사된다.

P(wt∣wt−N+1,…,wt−1)P(w_t \mid w_{t-N+1}, \ldots, w_{t-1})

이런 통계적 언어 모델은 오래전부터 자연어 처리의 중요한 근거로 활용되어 왔다. 자연어의 통계적 모델을 형성할 때 단어의 순서를 고려하는 것은 크게 도움이 되는데, 실제로 가까이 있는 단어들은 서로 통계적으로 더 강하게 연관되기 때문이다. N-Gram 모델 역시 이 점을 핵심적으로 고려한 방법이다. 다만 N-Gram은 여전히 단어를 개별 기호로 다루기 때문에, 원-핫 인코딩이 가진 의미 표현의 한계를 공유한다.

임베딩: 단어를 조밀한 벡터로

원-핫 인코딩의 한계를 넘는 핵심 아이디어는, 단어를 고차원의 희소한 벡터가 아니라 저차원의 조밀한 벡터로 표현하고 그 벡터를 데이터로부터 학습하는 것이다. 이것이 임베딩이다.

임베딩 층은 내부에 (어휘수×벡터차원)(\text{어휘수} \times \text{벡터차원}) 형태의 가중치 행렬 CC를 가진다. 정수로 인코딩된 토큰 시퀀스가 입력되면, 각 토큰 ID는 CC에서 해당 행을 조회(lookup)하는 인덱스로 쓰여 그 행 벡터로 치환된다. 아래에서는 어휘수를 토크나이저의 어휘 크기로 두고 벡터차원을 128로 설정해, 하나의 정수 시퀀스를 임베딩에 통과시킨다.

출력에서 가중치 행렬의 형태 CC는 (어휘수,128)(\text{어휘수}, 128)이고, 임베딩을 통과한 결과는 (배치수,토큰수,벡터차원)(\text{배치수}, \text{토큰수}, \text{벡터차원}) 형태가 된다. 즉 길이가 같은 정수 시퀀스의 각 토큰이 128차원 벡터로 펼쳐진 것이다. 원-핫 인코딩이 어휘수만큼의 차원을 쓰던 것과 달리, 임베딩은 훨씬 작은 고정 차원으로 단어를 표현한다.

이 가중치 행렬 CC가 바로 단어 벡터들의 사전이다. 특정 단어의 벡터를 보려면, 토크나이저로 그 단어를 토큰 ID로 바꾼 뒤 CC에서 해당 행을 꺼내면 된다.

여기서 중요한 점은 이 벡터들이 고정된 값이 아니라 학습되는 파라미터라는 것이다. 임베딩 행렬은 모델의 다른 가중치와 함께 역전파로 갱신되므로, 학습이 진행되면 비슷한 맥락에서 쓰이는 단어들의 벡터가 서로 가까워진다. 그 결과 원-핫 인코딩에서는 표현할 수 없던 단어 사이의 의미적 유사성이 벡터 공간 위에 자연스럽게 자리잡는다.

단어 유사도와 벡터 공간의 기하학

임베딩의 진가는 단어 사이의 의미 관계가 벡터 공간의 기하학적 구조로 드러난다는 데 있다. 예로 네 개의 단어를 2차원 공간에 임베딩했다고 하자. 이렇게 표현되면 각 단어 벡터 사이의 의미 관계를 벡터의 이동, 즉 기하학적 변환으로 해석할 수 있다.

예를 들어 '개’에서 '늑대’로 가는 벡터를 생각하면, 같은 벡터를 '고양이’에 적용했을 때 '호랑이’에 도달한다. 이 벡터는 '애완동물에서 야생동물로’라는 의미 변환으로 읽을 수 있다.

호랑이≈고양이+(늑대−개)\text{호랑이} \approx \text{고양이} + (\text{늑대} - \text{개})

다른 방향으로도 같은 원리가 성립한다. '개’에서 '고양이’로 변환하는 벡터를 '늑대’에 적용하면 '호랑이’가 된다. 이 경우의 벡터는 '개과에서 고양이과로’라는 의미 변환으로 해석된다.

호랑이≈늑대+(고양이−개)\text{호랑이} \approx \text{늑대} + (\text{고양이} - \text{개})
변환 벡터의미적용 예
늑대 − 개애완동물 → 야생동물고양이 + (늑대 − 개) ≈ 호랑이
고양이 − 개개과 → 고양이과늑대 + (고양이 − 개) ≈ 호랑이

이렇게 단어들의 의미 관계가 벡터의 덧셈과 뺄셈으로 표현된다는 사실은, 임베딩이 단순히 단어를 숫자로 바꾸는 것을 넘어 의미를 담은 표현을 학습한다는 점을 보여 준다. 이것이 원-핫 인코딩이 결코 줄 수 없었던 임베딩의 본질적 이점이다.

생각해 볼 문제

이미지 데이터에서 회전, 이동, 좌우 반전 같은 변형으로 데이터를 늘리는 데이터 증강이 효과적이었다면, 텍스트 데이터에서도 같은 발상이 가능할지 생각해 보자.

Q: 텍스트 데이터도 데이터 증강이 가능한가?