Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

텍스트 데이터와 토큰화

Part 1 에서 다룬 이미지 데이터는 픽셀이라는 연속적인 수치로 이미 표현되어 있어, 그대로 신경망에 흘려보낼 수 있었다. 그러나 자연어는 사정이 다르다. 문장은 이산적인 기호의 연속이며, 신경망이 입력으로 받을 수 있는 정수 시퀀스로 바꾸는 전처리 단계가 반드시 앞에 놓인다.

이 장에서는 한국어·영어 병렬 말뭉치를 출발점으로, 텍스트를 어떻게 신경망이 다룰 수 있는 형태로 바꾸는지 따라간다. 핵심은 세 단계다. (1) 원시 텍스트를 살펴보고 정제하는 단계, (2) 문장을 토큰으로 쪼개고 각 토큰에 정수 ID 를 부여하는 토큰화(tokenization), (3) 가변 길이의 정수 시퀀스를 배치 단위로 묶을 수 있도록 길이를 맞추는 패딩이다. 마지막에는 이렇게 만든 시퀀스를 임베딩층에 통과시켜 간단한 텍스트 분류기까지 학습시켜 본다.

텍스트 데이터

데이터는 data/koen 폴더 아래에 split(train/validation/test)별 CSV 파일로 나뉘어 있다. 각 파일을 읽어 datasets 딕셔너리에 담고, split 별 행 수를 확인한다.

각 행에는 한국어 문장(ko)과 그에 대응하는 영어 문장(en), 그리고 문장의 출처를 나타내는 source 코드가 들어 있다. 말뭉치가 어떤 종류의 텍스트로 구성되어 있는지 파악하기 위해 source 코드별 도수와 비율을 확인한다.

출처 코드가 가리키는 텍스트의 성격은 실제 문장을 들여다보면 분명해진다. 같은 한국어라도 일상 대화에 쓰이는 구어체와 법률·기술 문서에 쓰이는 특허 텍스트는 어휘와 문장 구조가 크게 다르다. 두 부류를 각각 표본으로 뽑아 비교해 보자. 이 차이는 이 장 후반의 텍스트 분류 과제에서 두 클래스를 가르는 신호가 된다.

형태소와 토큰화

텍스트를 신경망에 넣으려면 먼저 문장을 토큰이라는 더 작은 단위로 쪼개야 한다. 그렇다면 어떤 단위로 쪼갤 것인가? 언어학에서 그 자연스러운 후보가 형태소(morpheme) 다.

형태소는 일정한 의미가 있는 가장 작은 말의 단위로, 발화체 안에서 따로 떼어낼 수 있는 것을 뜻한다. 즉 더 쪼개면 뜻이 사라지는 말의 단위다. 한국어의 형태소는 크게 두 갈래로 나뉜다.

구분설명예
어휘 형태소독립적인 의미를 가지는 단위명사, 동사·형용사의 어간
문법 형태소문법적 기능을 하며, 어휘 형태소와 결합한 상태로 활용조사, 어미

한국어가 영어와 크게 다른 점이 여기 있다. 영어는 단어 사이가 공백으로 분리되지만, 한국어는 어휘 형태소에 조사·어미 같은 문법 형태소가 달라붙어 한 어절을 이룬다. 따라서 단순한 공백 분리만으로는 의미 단위를 제대로 끊어낼 수 없다.

이 문제를 규칙으로 일일이 풀기보다, 우리는 말뭉치 자체로부터 적절한 분절 단위를 학습하는 방법을 택한다. 통계적으로 자주 함께 등장하는 글자 조각을 하나의 하위 단어(subword) 토큰으로 묶는 방식이다. 이렇게 하면 자주 쓰이는 형태소는 통째로, 드문 단어는 더 작은 조각으로 쪼개어 표현할 수 있어, 어휘 밖(OOV) 단어 문제도 자연스럽게 완화된다. 이를 구현한 대표적인 도구가 SentencePiece 다.

토큰화

  1. 각 문장을 한 줄씩 텍스트 파일에 기록

  2. sententcepiece 모델 훈련

토큰화 모델을 학습시키는 절차는 두 단계다. 먼저 각 문장을 한 줄에 하나씩 텍스트 파일로 기록하고, 그 파일을 입력으로 SentencePiece 모델을 훈련한다. 한국어와 영어 문장을 각각 별도의 파일로 내보낸다.

pip install sentencepiece

이제 두 파일을 입력으로 SentencePiece 모델을 훈련한다. 주요 인자는 다음과 같다.

  • vocab_size: 학습할 어휘(토큰)의 총 개수. 여기서는 30,000 개로 설정한다.

  • input_sentence_size / shuffle_input_sentence: 전체 말뭉치 중 무작위로 일부 문장만 골라 훈련한다. 대규모 말뭉치에서 학습 시간을 줄이기 위한 표본 추출이다.

  • 특수 토큰 ID: 시퀀스 처리에 필요한 네 가지 토큰을 명시적으로 지정한다.

토큰역할
pad (0)패딩 — 배치 내 길이 정규화
unk (1)모름(unknown) — 어휘 밖(OOV) 단어
bos (2)문장 시작(Begin of Sentence)
eos (3)문장 끝(End of Sentence)

학습이 끝나면 model_prefix 에 지정한 이름으로 spm.model(모델)과 spm.vocab(어휘 목록) 파일이 생성된다.

학습된 토크나이저를 불러와 실제 문장에 적용해 본다. encode 는 두 가지 출력을 낼 수 있다. out_type=str 은 토큰 조각(형태소) 자체를, out_type=int 은 각 토큰에 대응하는 정수 ID 를 돌려준다. 한국어 문장은 형태소 단위로, 영어 문장은 하위 단어 단위로 분절되는 모습을 확인할 수 있다. 마지막으로 decode 로 정수 시퀀스를 다시 원문으로 복원하면, 토큰화가 가역적임을 알 수 있다.

정수 ID 가 어떻게 배정되었는지 앞쪽 ID 들을 직접 들여다보자. 0~3 번은 앞서 지정한 특수 토큰(pad/unk/bos/eos)이 차지하고, 그 뒤로 말뭉치에서 학습된 일반 토큰들이 이어진다.

토큰화를 데이터 파이프라인에 끼워 넣으려면, 텍스트를 정수 시퀀스로 바꾸는 변환을 데이터셋에 위임하는 것이 깔끔하다. PyTorch 의 데이터셋 규약(__len__, __getitem__)을 따르는 TextDataset 을 정의하고, transform 으로 토큰화 함수를 주입한다. 이렇게 하면 데이터셋이 인덱싱될 때마다 원문이 즉석에서 정수 시퀀스로 변환된다.

텍스트 분류

이제 토큰화한 텍스트로 실제 학습 과제를 풀어 본다. 앞서 본 두 부류, 구어체(71265) 와 특허(563) 텍스트를 구분하는 이진 분류기다.

데이터를 준비할 때 몇 가지 처리를 더한다. 우선 결측값을 제거하고, 두 클래스에서 같은 수만큼 표본을 뽑아 클래스 균형을 맞춘다. 레이블은 구어체를 0, 특허를 1 로 매핑한다. 전처리 함수는 토큰화한 뒤 시퀀스를 최대 길이(여기서는 300)로 자른다 — 지나치게 긴 문서가 메모리와 계산을 압도하지 않도록 하는 안전장치다.

분류기를 설계하기 전에 입력 시퀀스의 길이 분포를 살펴야 한다. 문서마다 토큰 수가 제각각이기 때문이다. 길이의 기술 통계를 확인하면 패딩·자르기 기준을 정하는 데 도움이 된다.

신경망은 한 배치 안의 모든 샘플이 같은 길이여야 행렬 연산을 할 수 있다. 그래서 짧은 시퀀스는 뒤를 패딩 토큰(ID 0)으로 채우고, 긴 시퀀스는 잘라낸다. 먼저 고정 길이로 정규화하는 기본 함수를 정의한다.

그런데 모든 배치를 데이터셋 전체의 최대 길이로 맞추면, 짧은 문장이 대부분인 배치에서도 불필요하게 긴 패딩이 붙어 낭비가 생긴다. 더 효율적인 방법은 배치마다 그 안에서 가장 긴 샘플의 길이에 맞춰 패딩하는 것이다. 이 역할을 하는 함수를 DataLoader 의 collate_fn 으로 넘긴다. 서로 다른 배치가 서로 다른 시퀀스 길이를 갖게 되는 것을 확인할 수 있다.

배치병합 을 collate_fn 으로 지정해 DataLoader 를 구성한다. 학습용 로더만 셔플하고, 각 배치의 시퀀스 길이가 배치별로 달라지는 동적 패딩이 실제로 동작하는지 길이 분포로 확인한다.

분류 모델은 단순하지만 텍스트 처리의 핵심 구성요소를 담고 있다.

  1. 임베딩층(Embedding): 정수 토큰 ID 를 밀집 벡터로 변환한다. 어휘 수만큼의 행과 임베딩 차원만큼의 열을 가진 행렬을 학습하며, 각 토큰은 이 행렬에서 자신의 ID 에 해당하는 행 벡터로 표현된다. 원-핫 표현과 달리 의미적으로 가까운 토큰이 가까운 벡터를 갖도록 학습된다.

  2. GlobalAveragePooling1D: 가변 길이의 토큰 벡터 시퀀스를 시퀀스 차원에 대해 평균 내어, 문서 하나를 고정 길이 벡터 하나로 요약한다.

  3. 밀집층: 요약 벡터를 받아 은닉 표현을 거쳐 하나의 출력으로 모은다. 이진 분류이므로 출력층은 sigmoid 활성화와 BinaryCrossentropy 손실을 쓴다.

어휘 수는 토크나이저로부터 직접 가져와 임베딩층의 입력 차원으로 사용한다.

학습이 끝난 임베딩층의 가중치 행렬은 그 자체로 흥미로운 산물이다. 각 행이 하나의 토큰에 대응하는 학습된 벡터이기 때문이다. 특정 단어의 정수 ID 를 구해 해당 행 벡터를 꺼내 보면, 분류 과제를 풀기 위해 모델이 그 단어를 어떤 수치 벡터로 표현하게 되었는지 들여다볼 수 있다. 이 임베딩 표현은 다음 장에서 다룰 순환 신경망과 어텐션 기반 모델에서도 입력의 출발점이 된다.