Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

k-최근접 이웃

k-최근접 이웃(k-Nearest Neighbors, kNN) 은 가장 기본적인 기계학습 알고리즘 중 하나입니다. 경험한 데이터를 그대로 저장해 두었다가, 새로운 데이터가 들어오면 저장된 데이터 중 가장 가까운 이웃을 찾아 그 이웃의 값으로 예측합니다. 별도의 모델(매개변수)을 학습하지 않고 데이터 자체를 기억하므로 비매개변수(non-parametric) 알고리즘으로 분류됩니다.

예를 들어 두 유형으로 나뉜 데이터에서 새 데이터가 한쪽 유형의 점들에 가까우면 그 유형으로 분류합니다. 분류와 회귀 모두에 사용할 수 있습니다.

scikit-learn: 1.1.1

1데이터 적재

붓꽃 데이터를 적재합니다. 특성 X와 목표값 y로 나누어 가져옵니다.

Loading...
Loading...
0 50 1 50 2 50 Name: target, dtype: int64

2거리 측정

최근접 이웃을 찾으려면 두 데이터 사이의 거리를 정의해야 합니다. 가장 널리 쓰이는 것은 유클리드 거리로, 각 차원의 차이를 제곱해 더한 뒤 제곱근을 취합니다 — 두 점을 잇는 직선 거리입니다. 절대값의 합으로 계산하는 맨해튼 거리도 있으며, 둘 다 민코프스키 거리의 특수한 경우입니다.

여러 특성의 단위가 서로 다르면 큰 값이 거리를 지배할 수 있으므로, 거리 기반 알고리즘에서는 단위 변환(정규화)이 중요합니다.

3분류

kNN으로 붓꽃 품종을 분류해 보겠습니다. 새 데이터의 최근접 이웃들을 찾은 뒤, 이웃들의 다수결로 유형을 결정합니다.

0.9736842105263158
1.0
0.9736842105263158
0.9473684210526315

예측 결과 분석

random_state=0

시험 데이터가 쉬움

random_state=1

보다 어려운 데이터가 포함됨

선택한 특성들: sepal length (cm), petal length (cm)
<Figure size 1080x360 with 2 Axes>

3.1이웃 수 설정

이웃 수 kk는 kNN의 핵심 설정입니다. k=1k=1은 가장 가까운 한 이웃만 보는데, 특정 표본에 과도하게 민감해 대개 바람직하지 않습니다. 보통 둘 이상의 이웃을 다수결에 사용하며, 동점을 피하려고 홀수로 두는 경우가 많습니다. kk를 임의로 정할 수 있어 'k-최근접 이웃’이라 부릅니다.

이웃수 1: 97.37%
이웃수 5: 100.00%
<Figure size 1080x360 with 2 Axes>
<Figure size 432x288 with 1 Axes>
<Figure size 432x288 with 1 Axes>
10
훈련점수: 99.11%, 시험점수: 94.74%
array([0, 2, 2, 0, 1])
112
'KNeighborsClassifier' object has no attribute 'n_samples_fit_'

4회귀

kNN은 회귀에도 사용할 수 있습니다. 분류가 이웃들의 다수결이라면, 회귀는 최근접 이웃들의 값을 평균해 예측합니다.

<Figure size 432x288 with 1 Axes>
이웃수=1 훈련점수: 1.000, 시험점수: 0.288
<Figure size 432x288 with 1 Axes>
<Figure size 432x288 with 1 Axes>
이웃수=25 훈련점수: 0.588, 시험점수: 0.519
<Figure size 432x288 with 1 Axes>
이웃수=25 훈련점수: 0.227, 시험점수: -2.057
<Figure size 432x288 with 1 Axes>