Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

로지스틱 회귀

확률 모델링

로지스틱 회귀는 선형 회귀의 출력을 승산률(odd ratio)로 취급하여 확률 모델링을 수행한다. 두 가지 사건 y∈{0,1}y \in \left\{0, 1\right\}에 대해 어느 한 쪽의 확률 p=Pr(y∣x)p=Pr(y|x)에 대해, 승산률은 다음과 같다.

odd ratio=p1−p\text{odd ratio} = \frac{p}{1-p}

승산률은 [0,∞)[0, \infty) 범위의 값이기 때문에 선형 회귀 출력에 대응하기 위해 로그 승산률로 모델링한다. 로그 승산률은 종종 로짓(logit) 이라고 한다.

logit=log⁡(p1−p)=z∈R\text{logit} = \log \left( \frac{p}{1-p} \right) = z \in \mathbb{R}

위의 공식을 zz를 입력으로 하여 pp에 대해 정리하면 다음과 같다.

p1−p=exp⁡(z)1p−1=exp⁡(−z)p=11+exp⁡(z)\begin{aligned} \frac{p}{1-p} &= \exp \left(z\right) \\ \frac{1}{p} - 1 &= \exp \left(-z\right) \\ p &= \frac{1}{1 + \exp(z)} \end{aligned}

정리하면, 선형모형의 출력을 위와 같은 방식으로 처리하면 확률값으로 모델링할 수 있다. 이러한 함수를 로지스틱 시그모이드(logistic sigmoid), 종종 줄여서 시그모이드 함수라고 한다.

z=xw⊤+bp=σ(z)=11+exp⁡(−z)\begin{aligned} z &= x w^{\top} + b \\ p &= \sigma(z) = \frac{1}{1 + \exp(-z)} \\ \end{aligned}

다항 분류

다항 분포 y∈{1,2,…,K}y \in \left\{1, 2, \dots, K\right\}인 경우, 각 유형(class)별 선형 출력(logit)을 가정한다. x∈Rdx \in \mathbb{R}^d 일 때, 가중치 W∈RK×dW \in \mathbb{R}^{K \times d}, 편향 b∈RKb \in \mathbb{R}^{K}에 대한 선형 출력은 다음과 같다.

z=xW⊤+b∈RK\mathbf{z} = xW^{\top} + b \in \mathbb{R}^{K}

다항 분포의 확률은 다음과 같다.

p1,p2,…,pK→∑k=1Kpk=1\begin{aligned} p_1, p_2, \dots, p_K \rightarrow \sum_{k=1}^{K} p_k = 1 \end{aligned}

사건들의 확률은 다른 확률 분포에 영향을 받기 때문에 어떤 하나의 사건을 기준으로 승산률을 구한다. 표기의 편의를 위해 마지막 사건 KK를 기준으로 하면 승산률은 다음과 같이 표기할 수 있다. 즉, 어떤 사건 kk의 승산률은 다음과 같다.

odd ratio=pkpK\text{odd ratio} = \frac{p_k}{p_K}

승산률을 실수 범위 zkz_k에 대응하기 위해 로그를 취해 정리한다.

log⁡pkpK=zkpk=pKexp⁡(zk)\begin{aligned} \log \frac{p_k}{p_K} &= z_k \\ p_k &= p_K \exp \left(z_k\right) \end{aligned}

k=1,2,…,K−1k=1, 2, \dots, K-1에 대해 합을 구하면,

∑k=1K−1pk=pK∑k=1K−1exp⁡(zk)\sum_{k=1}^{K-1} p_k = p_K \sum_{k=1}^{K-1} \exp \left(z_k\right)

이 때, 확률의 합계는 모두 1임으로

∑k=1K−1pk+pK=1∑k=1K−1pk=1−pK\begin{aligned} & \sum_{k=1}^{K-1} p_k + p_K = 1 \\ & \sum_{k=1}^{K-1} p_k = 1 - p_K \end{aligned}

pKp_K에 대해 정리하면,

1−pK=pK∑k=1K−1exp⁡(zk)pK=11+∑k=1K−1exp⁡(zk)\begin{aligned} 1 - p_K &= p_K \sum_{k=1}^{K-1} \exp \left(z_k\right) \\ p_K & = \frac{1}{1 + \sum_{k=1}^{K-1} \exp \left(z_k\right)} \end{aligned}

따라서,

pk=pKexp⁡(zk)=exp⁡(zk)1+∑k=1K−1exp⁡(zk)\begin{align} p_k &= p_K \exp \left(z_k\right) \\ &= \frac{\exp \left(z_k\right)}{1 + \sum_{k=1}^{K-1} \exp \left(z_k\right)} \end{align}

기준 클래스 KK의 로짓을 0으로 가정하면 zK=0→exp⁡(zK)=1z_K=0 \rightarrow \exp \left(z_K\right) = 1

1+∑k=1K−1exp⁡(zk)=∑k=1Kexp⁡(zk)1 + \sum_{k=1}^{K-1} \exp \left(z_k\right) = \sum_{k=1}^{K} \exp \left(z_k\right)

이는 기준 출력 zK=Cz_K = C일 때, 모든 출력에서 CC를 빼도, 다음과 같이 확률값은 동일하기 때문에 기준 출력값을 임의적으로 지정할 수 있기 때문이다. 즉, 확률값은 상수 이동 불변성 (shift invariance)의 성질이 있다.

ezk+c∑jezj+c=eCezkeC∑jezj+c=ezk∑jezj\frac{e^{z_k + c}}{\sum_j e^{z_j + c}} = \frac{e^{C}e^{z_k}}{e^{C}\sum_j e^{z_j + c}} = \frac{e^{z_k}}{\sum_j e^{z_j}}

즉, 소프트맥스의 확률값은 로짓의 절대값이 아닌 비율로써 결정된다.

따라서, 다항 분류 출력의 로짓은 다음과 같은 소프트맥스(softmax) 함수로 확률 모델링이 가능하다.

softmax=pk=exp⁡(zk)1∑j=1Kexp⁡(zj)\text{softmax} = p_k = \frac{\exp(z_k)}{1\sum_{j=1}^{K} \exp(z_j)}

손실 함수

출력이 베르누이 분포 y∈{0,1}y \in \left\{0, 1\right\}이라고 가정한다면, 로지스틱 회귀는 선형 모델의 출력을 시그모이드 σ\sigma로 변환하여 양성 확률을 출력한다.

p:=p(y=1∣x,w)=σ(w⊤x),σ(z)=11+e−zp := p(y=1\mid x ,w)=\sigma(w^\top x) ,\quad \sigma(z)=\frac{1}{1+e^{-z}}

따라서,

p(y∣x,w)=(p)y(1−p)1−y={py=11−py=0p(y \mid x,w)=(p)^{y}(1-p)^{1-y} = \begin{cases} p \quad &y=1 \\ 1-p \quad &y=0 \end{cases}

최대우도추정

로지스틱 회귀의 손실을 최소화하는 매개변수를 찾기 위해서는 최대우도추정을 할 수 있다.

L(w)=∏i=1np(yi∣xi,w)=∏i=1n(pi)yi(1−pi)1−yi\begin{aligned} \mathcal{L}(w) &= \prod_{i=1}^{n} p(y_i \mid x_i, w) \\ &= \prod_{i=1}^{n} (p_i)^{y_i}(1-p_i)^{1-y_i} \end{aligned}

곱은 계산적으로 불안정하므로 로그를 취해 로그 우도를 계산한다.

log⁡L(w)=∑i=1nlog⁡p(yi∣xi,w)=∑i=1n[yilog⁡pi+(1−yi)log⁡(1−pi)]\begin{aligned} \log \mathcal{L}(w) &= \sum_{i=1}^{n} \log p(y_i \mid x_i, w) \\ &= \sum_{i=1}^{n} \left[ y_i \log p_i + (1-y_i)\log(1-p_i) \right] \end{aligned}

여기서 pi=σ(w⊤xi)p_i=\sigma(w^\top x_i).

최대우도추정은 로그우도를 최대화하는 것이기 때문에 로지스틱 회귀의 손실함수는 음(negative)의 로그우도를 최소화한다고 할 수 있다.

$$ \underset{w}{\arg\max} \log \mathcal{L}(w)

\underset{w}{\arg\min} \mathcal{J}(w)

-\sum_{i=1}^{n} \left[ y_i \log p_i + (1-y_i)\log(1-p_i) \right]

$$

따라서, 음의 로그우도는 로지스틱 회귀의 손실함수 크로스엔트로피 손실(Binary Cross-Entropy)이다.

J(w)=−∑i=1n[yilog⁡pi+(1−yi)log⁡(1−pi)]\mathcal{J}(w) = -\sum_{i=1}^{n} \left[ y_i \log p_i + (1-y_i)\log(1-p_i) \right]

최적화

연쇄 법칙

y=sigmoid(x)=11+exp⁡(−x)y= \text{sigmoid}(x) = \frac{1}{1 + \exp(-x)}

국소 미분

y=1u→dydu=−1u2=−y2t=1+u→=dtdu=1u=exp⁡(v)→dudv=exp⁡(v)=exp⁡(−x)v=−x→dvdx=−1\begin{align} y &= \frac{1}{u} \rightarrow \frac{dy}{du} = -\frac{1}{u^2} = -y^2 \\ t &= 1 + u \rightarrow = \frac{dt}{du} = 1 \\ u &= \exp(v) \rightarrow \frac{du}{dv} = \exp(v) = \exp(-x) \\ v &= -x \rightarrow \frac{dv}{dx} = -1 \\ \end{align}

연쇄법칙 (chain rule)

$$

dydx=dydtdtdududvdvdx=(−y2)×exp⁡(−x)×(−1)=y2exp⁡(−x)=11+exp⁡(−x)exp(−x)1+exp(−x)=y(1−y)\begin{align} \frac{dy}{dx} &= \frac{dy}{dt} \frac{dt}{du} \frac{du}{dv} \frac{dv}{dx} = (-y^2) \times \exp(-x) \times (-1) \\ &= y^2 \exp(-x) \\ &= \frac{1}{1 + \exp(-x)} \frac{exp(-x)}{1 + exp(-x)} \\ &= y (1 - y) \end{align}

$$

기울기 유도 (Gradient Derivation)

경사 하강법을 적용하기 위해 손실 함수를 매개변수 ww와 bb로 미분해야 합니다.

1. 시그모이드 함수의 미분

∂σ(z)∂z=σ(z)(1−σ(z))=p(1−p)\frac{\partial \sigma(z)}{\partial z} = \sigma(z)(1-\sigma(z)) = p(1-p)

2. 손실 함수를 pp로 미분 (단일 샘플)

∂L∂p=−yp+1−y1−p\frac{\partial L}{\partial p} = -\frac{y}{p} + \frac{1-y}{1-p}

3. 연쇄 법칙을 적용하여 ∂L∂z\frac{\partial L}{\partial z} 계산

∂L∂z=∂L∂p⋅∂p∂z=(−yp+1−y1−p)⋅p(1−p)=−y(1−p)+(1−y)p=−y+yp+p−yp=p−y\begin{aligned} \frac{\partial L}{\partial z} &= \frac{\partial L}{\partial p} \cdot \frac{\partial p}{\partial z} \\ &= \left(-\frac{y}{p} + \frac{1-y}{1-p}\right) \cdot p(1-p) \\ &= -y(1-p) + (1-y)p \\ &= -y + yp + p - yp \\ &= p - y \end{aligned}

4. 가중치와 편향에 대한 기울기

단일 샘플에 대해:

∂L∂w=∂L∂z⋅∂z∂w=(p−y)⋅x∂L∂b=∂L∂z⋅∂z∂b=(p−y)\begin{aligned} \frac{\partial L}{\partial w} &= \frac{\partial L}{\partial z} \cdot \frac{\partial z}{\partial w} = (p - y) \cdot x \\ \frac{\partial L}{\partial b} &= \frac{\partial L}{\partial z} \cdot \frac{\partial z}{\partial b} = (p - y) \end{aligned}

전체 배치에 대해:

∂L∂w=1S∑i=1S(pi−yi)xi∂L∂b=1S∑i=1S(pi−yi)\begin{aligned} \frac{\partial L}{\partial w} &= \frac{1}{S}\sum_{i=1}^{S}(p^{i} - y^{i})x^{i} \\ \frac{\partial L}{\partial b} &= \frac{1}{S}\sum_{i=1}^{S}(p^{i} - y^{i}) \end{aligned}
∇wL=1SX⊤(p−y)\nabla_w L = \frac{1}{S} X^{\top}(p - y)

5. 매개변수 업데이트 (Gradient Descent)

w←w−η∂L∂wb←b−η∂L∂b\begin{aligned} w &\leftarrow w - \eta \frac{\partial L}{\partial w} \\ b &\leftarrow b - \eta \frac{\partial L}{\partial b} \end{aligned}

여기서 η\eta는 학습률(learning rate)입니다.

Newton 방법 (2차 미분 활용)

경사 하강법은 1차 미분(그래디언트)만 사용하지만, Newton 방법은 2차 미분(헤시안)을 활용하여 더 빠른 수렴을 달성합니다.

로지스틱 회귀의 헤시안

H=1SX⊤DXH = \frac{1}{S} X^{\top} D X

여기서 D=diag(pi(1−pi))D = \text{diag}(p_i(1-p_i))는 대각 행렬입니다.

Newton 업데이트 규칙

θ←θ−H−1∇L\theta \leftarrow \theta - H^{-1} \nabla L

수렴 성능

  • 경사 하강법: 선형 수렴 (1차)

  • Newton 방법: 2차 수렴 (quadratic convergence)

  • 결과: 일반적으로 훨씬 적은 반복 횟수