Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

에이전트

앞에서 신경망의 학습과 프레임워크, 컴퓨터 비전과 시퀀스·자연어 처리의 응용을 살펴보았습니다. 이 장에서는 앞에서 배운 개념을 바탕으로 AI 에이전트와 함께 문제를 정의하고 코드를 검토하는 방법을 알아보겠습니다. AI 에이전트는 위임받은 목표를 위해 도구를 사용하며 계획·실행·평가를 반복합니다. 이러한 실행력을 에이전시(agency)라고 하며, 필요한 맥락과 도구·권한을 제공하는 실행 환경을 하네스(harness)라고 합니다. 개념과 구성은 로컬 LLM 교재의 에이전트 단원에서 살펴볼 수 있습니다. 여기서는 이를 딥러닝 문제 정의와 학습·평가 코드에 적용하겠습니다. 무엇을 예측할지, 어떤 데이터로 평가할지, 어디까지 실행할지는 사람이 정해야 합니다.

이 장에서는 작은 영상 분류 문제를 예로 사용합니다. 입력과 정답의 형태를 먼저 정하고, 학습·검증·테스트 데이터를 분리한 뒤 학습 코드를 읽어 보겠습니다. 대형 언어 모델 단원에서는 언어 모델 자체를 다룹니다. 여기서는 모델 다운로드나 외부 서비스 호출 없이 에이전트가 작성한 코드를 검토하는 데 초점을 맞춥니다.

영상 분류 문제 정의

흑백 영상에 있는 사각형의 크기를 구분한다고 가정하겠습니다. 관측 단위는 영상 한 장이며, 작은 사각형은 클래스0, 큰 사각형은 클래스1입니다. 입력은 [N, 1, 16, 16] 형태의 실수 배열이고, 정답은 [N] 형태의 정수 배열입니다. 여기서 N은 영상 수이고, 나머지 차원은 채널·높이·너비입니다.

같은 영상을 분할 문제로 다룬다면 정답은 클래스 번호가 아니라 각 픽셀이 사각형에 속하는지 나타내는 mask입니다. 이 경우 정답의 형태는 [N, 1, 16, 16]이 됩니다. 같은 입력을 사용하더라도 분류와 분할은 출력·손실 함수·평가 지표가 다릅니다. 실행 전에 이 관계를 확인해야 합니다.

실행 계획과 결과 검토

실행 계획에는 데이터 생성 방법, 분할 방법, 전처리 계산 범위, 모델, 손실 함수, 학습 횟수와 선택 기준을 적습니다. 아래 예제는 NumPy와 PyTorch로 합성 영상60장을 분류합니다. CPU에서 학습과 평가를 수행합니다.

각 클래스에서 학습18장·검증6장·테스트6장을 배정하여 전체 분할은36장·12장·12장이 됩니다. 평균과 표준편차는 학습 영상에서만 계산합니다. 모델 선택에는 검증 손실만 사용하고, 선택을 마친 뒤 테스트를 한 번 평가합니다.

import copy
import numpy as np
import torch
from torch import nn

rng = np.random.default_rng(2027)
torch.manual_seed(2027)
torch.set_num_threads(1)

# 서로 독립적으로 생성한 합성 영상: N, C, H, W
labels = np.repeat(np.arange(2), 30).astype(np.int64)
images = rng.normal(0, 0.05, (60, 1, 16, 16)).astype(np.float32)
for i, label in enumerate(labels):
    side = 4 if label == 0 else 8
    start = (16 - side) // 2
    images[i, 0, start:start + side, start:start + side] += 1.0

# 클래스별로 섞은 뒤 분할합니다. 같은 영상은 두 분할에 들어가지 않습니다.
parts = {name: [] for name in ("train", "valid", "test")}
for label in (0, 1):
    ids = rng.permutation(np.flatnonzero(labels == label))
    parts["train"].extend(ids[:18])
    parts["valid"].extend(ids[18:24])
    parts["test"].extend(ids[24:])
splits = {name: np.array(ids, dtype=np.int64) for name, ids in parts.items()}
assert len(set(np.concatenate(list(splits.values())).tolist())) == 60
assert all(np.bincount(labels[ids], minlength=2).min() > 0
           for ids in splits.values())

# fit은 학습 데이터에서만 합니다. 같은 변환을 검증·테스트에 적용합니다.
mean = float(images[splits["train"]].mean())
scale = max(float(images[splits["train"]].std()), 1e-6)
x = {name: torch.from_numpy((images[ids] - mean) / scale)
     for name, ids in splits.items()}
y = {name: torch.from_numpy(labels[ids]) for name, ids in splits.items()}
assert all(t.dtype == torch.int64 and t.ndim == 1 for t in y.values())

model = nn.Sequential(nn.Flatten(), nn.Linear(16 * 16, 2))
loss_fn = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
best_loss = float("inf")
best_state = None
best_epoch = None

for epoch in range(1, 11):
    model.train()
    optimizer.zero_grad()
    logits = model(x["train"])  # [36, 2]: softmax 이전의 값입니다.
    train_loss = loss_fn(logits, y["train"])
    train_loss.backward()
    optimizer.step()

    model.eval()
    with torch.no_grad():
        valid_loss = float(loss_fn(model(x["valid"]), y["valid"]))
    if valid_loss < best_loss:
        best_loss = valid_loss
        best_state = copy.deepcopy(model.state_dict())
        best_epoch = epoch

# 검증으로 선택한 상태를 복원한 다음에만 테스트를 평가합니다.
model.load_state_dict(best_state)
model.eval()
with torch.no_grad():
    test_logits = model(x["test"])
    test_loss = float(loss_fn(test_logits, y["test"]))
    test_accuracy = float((test_logits.argmax(dim=1) == y["test"]).float().mean())
print({"selected_epoch": best_epoch, "validation_loss": best_loss,
       "test_loss": test_loss, "test_accuracy": test_accuracy})

CrossEntropyLoss에는 softmax를 적용하지 않은 logits와 int64 클래스 번호를 전달합니다. 클래스 선택은 평가할 때 argmax로 수행합니다. 검증 손실이 가장 낮았던 가중치는 deepcopy로 보관하므로 이후 학습으로 덮어쓰지 않습니다.

이 예제는 데이터 흐름을 보여 주는 작은 합성 실습입니다. 실제 영상의 일반화 성능을 입증하지 않습니다. 실행 결과를 얻었다면 실제 출력과 환경을 함께 기록하고, 테스트 점수를 보고 학습률이나 학습 횟수를 다시 선택하지 않아야 합니다.

딥러닝과 AI 에이전트의 역할

에이전트에게 단순히 “정확도를 높여 주세요”라고 요청하면 데이터 분할이나 실행 범위가 빠질 수 있습니다. 관측 단위·입력·정답·분할·선택 지표·실행 한도를 함께 전달하면 코드를 검토하기 쉬워집니다. 다음은 실제 코드와 구분되는 요청 예시입니다.

합성 흑백 영상의 사각형 크기를 두 클래스로 분류하는 CPU 예제를 작성해 주세요. 입력은 [N,1,16,16], 정답은 [N]의 정수 클래스 번호입니다. 학습·검증·테스트를 분리하고 전처리는 학습 데이터에만 fit해 주세요. 검증 손실로 학습 상태를 선택한 뒤 테스트는 한 번만 평가해 주세요. 다운로드와 외부 전송 없이 학습10회 이내로 계획을 먼저 설명해 주세요.

요청이 구체적이어도 생성된 코드가 올바르다는 보장은 없습니다. 위 코드에서 분할 인덱스, mean과 scale의 계산 위치, 손실 함수의 입력, 테스트 평가 위치를 직접 확인하는 것이 사람의 역할입니다.

심화 모델링과 AI 에이전트

영상에 센서 기록이나 문서를 함께 사용하는 경우에는 각 입력의 관측 단위와 가용 시점을 따로 정해야 합니다. 예측 시점에 아직 얻을 수 없는 측정값이나 사후 작성된 문서를 입력으로 사용하면 성능이 부풀려질 수 있습니다. 에이전트에게 배열의 형태뿐 아니라 언제 생성된 데이터인지도 알려 주어야 합니다.

텍스트 임베딩을 평균낼 때는 padding을 제외해야 하며, 문서가 여러 조각으로 나뉘었다면 원본 문서 단위로 분할해야 합니다. 정규화한 내용이 같은 문서가 학습과 테스트에 동시에 들어가는지도 확인합니다. 언어 모델을 로컬에서 실행하더라도 데이터 분할과 개인정보 검토는 필요합니다. 반대로 외부 서비스를 사용한다면 입력 데이터가 전송되는 범위까지 확인해야 합니다.

고급 모델링과 영상 분석 문제 명세

항공·위성 영상에서는 원본 영상과 공간 범위를, 의료 영상에서는 환자를 관측 단위로 고려합니다. 파일 이름이 달라도 같은 지역의 겹친 타일이나 같은 환자의 여러 단면이 다른 분할에 들어가면 독립 평가가 어려워집니다. 학습 지역과 평가 지역, 촬영 시점, 환자 식별자를 기준으로 분할해야 합니다.

예를 들어 같은 좌표계의 두 타일 범위가 (0,0,2,2)와 (1,1,3,3)이라면 공간적으로 겹칩니다. 이를 독립적인 학습·테스트 표본으로 취급해서는 안 됩니다. 미래 예측에서는 시간 순서대로 분할하고, 각 예측 시점 이전의 데이터로만 결측값 보정·표준화·구간 보정을 계산합니다. 환자 식별 정보는 접근 범위를 제한하고 필요한 비식별화 절차를 확인합니다.

다중 에이전트 실험·평가

분석 담당은 학습 데이터와 검증 결과로 모델을 선택하고, 평가 담당은 선택된 모델의 테스트 예측과 정답으로 지표를 계산합니다. 사람이 역할을 나누거나 별도의 에이전트를 사용할 수 있습니다. 역할을 나누는 목적은 같은 실수를 반복하거나 테스트 결과로 모델을 계속 조정하는 일을 줄이는 것입니다.

평가 담당은 어떤 모델이 선택되었는지와 분할이 어떻게 잠겼는지 먼저 확인합니다. 평가 단계에서 다시 학습하거나 여러 후보의 테스트 점수를 비교하여 모델을 고르면 독립 평가가 아닙니다. 작은 실습에서는 위 코드처럼 선택과 최종 평가의 순서를 명시하고, 실제 프로젝트에서는 선택한 가중치와 분할 정보의 식별자를 함께 기록합니다.

고급 작업 계획 검토

계획을 읽을 때는 모델 구조보다 데이터가 흐르는 순서를 먼저 살펴보는 것이 좋습니다. 학습·검증·테스트의 중복 여부, 전처리를 fit하는 범위, 검증으로 선택하는 값, 테스트를 여는 시점을 차례로 확인합니다. 시간 예측에서는 미래 데이터가 과거 시점의 변환에 영향을 주지 않는지도 확인해야 합니다.

실행 자원도 별도로 검토합니다. 위 예제는 CPU·합성 데이터·학습10회라는 범위를 코드에서 확인할 수 있습니다. GPU나 대형 모델 다운로드가 필요한 계획으로 바뀌었다면 장치·네트워크·예상 비용·중단 기준을 다시 정해야 합니다. 작은 실습이 정상 실행되었다는 사실만으로 대규모 실행 범위가 승인된 것은 아닙니다.

분석 절차 설계

분석 절차는 문제 정의, 데이터 확인, 분할, 학습, 검증 선택, 최종 평가의 순서로 구성합니다. 먼저 각 단계의 입력과 출력이 무엇인지 정한 뒤 에이전트에게 필요한 부분을 요청합니다. 위 예제에서는 images와 labels가 입력이고, splits가 분할을 고정하며, best_state가 검증으로 선택된 결과입니다.

실행이 실패하면 오류가 발생한 단계와 메시지를 기록하고 그 원인을 확인합니다. 실패를 빈 예측이나 이전 실행의 출력으로 대체하여 정상 평가처럼 보고해서는 안 됩니다. 수정 후 다시 실행했을 때도 변경한 코드와 실제 결과를 연결하여 기록합니다.

도구·워크플로 자동 구성

재사용할 코드는 숨은 노트북 변수나 외부 helper에 의존하는 부분을 줄이고, 필요한 import와 데이터 준비 과정을 명시해야 합니다. 실제 프로젝트에서는 데이터 준비, 모델 학습, 평가를 함수로 나누되 각 함수의 입력·출력과 오류 조건을 분명히 합니다.

자동화할 때도 검증과 평가의 경계를 유지해야 합니다. 학습 루프에는 검증 선택까지만 맡기고, 테스트 지표는 선택이 완료된 가중치로 계산합니다. 저장된 출력이 있다는 사실과 코드를 실제로 실행하여 재현했다는 사실을 구분해 기록해야 합니다.

권한·승인·감사

파일 읽기, 데이터 다운로드, GPU 학습, 외부 전송, 모델 등록과 배포는 서로 다른 작업입니다. 에이전트에게 코드를 작성하도록 요청했더라도 이 모든 실행이 자동으로 허용되는 것은 아닙니다. 사용할 데이터·장치·네트워크·예상 비용과 허용할 작업을 실행 계획에서 구분합니다.

특히 의료 정보나 비공개 문서는 어떤 도구에 전달되는지 확인해야 합니다. 로컬에서 코드를 검토하는 작업과 데이터를 외부 서비스로 보내는 작업은 전송 범위가 다릅니다. 승인된 범위를 벗어나는 요청은 실행 전에 계획을 수정하고 필요한 승인을 확인합니다. 실험 기록에는 허용한 범위, 실제 실행한 명령, 실행 여부와 결과를 함께 남깁니다.