Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

결정 트리

결정 트리(decision tree) 는 데이터를 여러 단계에 걸쳐 나누어 예측하는 알고리즘입니다. 마치 if/else 구문을 잇는 것처럼, 각 단계에서 특성 하나를 기준으로 데이터를 분기합니다. 선형 모델이 직선 하나로 나누기 어려운 비선형 분포도, 결정 트리는 분기를 거듭해 영역을 잘게 나누어 다룰 수 있습니다.

numpy: 2.2.6
pandas: 2.3.3
scikit-learn: 1.7.2

1정보 엔트로피

결정트리가 특정한 분기를 할 때는, 무질서도 또는 불순도를 낮추기 위해 노력합니다. 여러 가지 가능성 중 더 나은 것을 선택하기 위해 정보를 정량적으로 평가합니다.

H=−∑plog⁡2pH = -\sum{p \log_{2}{p}}
Gini=∑p(1−p)\text{Gini} = \sum{p \left(1 - p\right)}
Loading...
    x1   x2  y
0  0.1  0.1  0
1  0.2  0.1  0
2  0.1  0.2  1
3  0.2  0.2  1
4  0.1  0.3  0
5  0.2  0.3  1
6  0.1  0.4  0
7  0.2  0.4  1
<Figure size 1200x1000 with 2 Axes>
(400, 10)
['유형0', '유형1']
       tree1  tree2
train   1.00   1.00
test    0.83   0.87
<Figure size 2000x1000 with 2 Axes>
0.9933333333333333
<Figure size 1000x1000 with 1 Axes>
<Figure size 640x480 with 1 Axes>
train 1.00 test 0.81 dtype: float64
최대 깊이: 8

사전 가지치기 (pre-pruning)

1.1가지치기

결정 트리는 모든 이파리가 순수해질 때까지 분기하면 표현력이 최대가 되지만, 그만큼 훈련 데이터에 과적합되기 쉽습니다. 가지치기(pruning) 로 표현력을 규제해 과적합을 완화합니다. 가장 간단한 방법은 트리의 최대 깊이(max_depth) 를 제한하는 것으로, 순수 노드에 도달하기 전에 분기를 멈춰 훈련 정확도를 일부 희생하는 대신 일반화 성능을 높입니다.

train 0.886667 test 0.900000 dtype: float64
최대 깊이: 4

결정 트리 시각화

<Figure size 1500x1000 with 1 Axes>

특성 중요도 (feature importance)

<Axes: >
<Figure size 640x480 with 1 Axes>

결정트리 외삽 문제

<Figure size 1200x500 with 2 Axes>