공개 언어 모델

상용 거대 언어 모델(Closed-source Proprietary LLM) 시장을 OpenAI의 GPT 시리즈가 개척하고 선도해 왔다면, 다른 한편에서는 기술의 독점을 방지하고 누구나 자신만의 도메인에 맞춰 LLM을 직접 미세조정(SFT) 및 최적화할 수 있도록 지원하는 소스 공개(Open-Source) 및 가중치 공개(Open-Weight) 대형 언어 모델 생태계가 눈부시게 발전해 왔습니다.

본 장에서는 매년 전 세계 AI 연구 지표와 흐름을 진단하는 스탠포드 AI 인덱스 보고서(Stanford AI Index Report)의 분석 프레임을 바탕으로, 소스 공개(Open-Source) 및 가중치 공개(Open-Weight) LLM 생태계의 패러다임 변화와 이를 이끄는 세계 대표 5대 핵심 가중치 공개 모델들의 기술적 특징을 입체적으로 분석합니다.

1AI 인덱스로 본 가중치 공개 모델 동향¶

글로벌 AI 연구 동향의 가장 권위 있는 이정표인 스탠포드 AI 인덱스 보고서는 가중치 공개(Open-Weight) 모델 생태계의 몇 가지 파괴적인 메가 트렌드를 짚어내고 있습니다.

1.1'소스 공개(Open-Source)'와 '가중치 공개(Open-Weight)'의 정의적 구분¶

인덱스 보고서는 학습 데이터셋, 전처리 스크립트, 소스 코드까지 100% 투명하게 투사하는 '진정한 소스 공개(Open-Source) 모델’과 가중치 바이너리만 배포하는 '가중치 공개 모델(Open-Weight Model)'의 개념을 명확히 구분합니다. 최근 공개 생태계를 주도하는 모델들은 대부분 보안과 상업적 경쟁력을 이유로 학습 데이터 명세를 비공개로 유지한 채 가중치만 제공하는 가중치 공개(Open-Weight) 흐름으로 완전히 재편되었습니다.

• 현대 Frontier 모델의 팩트 체크: Meta Llama, Google Gemma, OpenAI GPT-OSS는 물론 동양 테크 진영의 대표 주자인 Alibaba Qwen과 DeepSeek 시리즈 역시 엄밀한 의미에서는 가중치 공개(Open-Weight) 모델에 해당합니다. 훈련에 사용된 수조 토큰의 로데이터셋(Raw Dataset), 정교한 필터링 코드, 분산 훈련 파이프라인의 핵심 독자 소스 등은 지식재산권 보호와 기술 노하우 유출 방지를 위해 비공개로 유지되기 때문입니다.

• 진정한 소스 공개(Open-Source)의 극소수 예외: 미국 비영리 AI 연구소인 AI2(Allen Institute for AI)가 주도하는 OLMo(Open Language Model) 시리즈 등 극히 제한적인 학술 연구 모델군만이 사전 훈련 데이터셋(Dolma 코퍼스), 데이터 정제 스크립트, 가중치 체크포인트, 훈련 엔진 일체를 100% 개방하여 진정한 소스 공개(Open-Source) 규격을 완벽히 준수하고 있습니다.

1.2미국과 중국의 기술 격차 해소 (US-China Gap Closure)¶

최신 인덱스 보고서가 꼽은 가장 두드러진 지정학적 성과는 미국과 중국 기업 간의 AI 모델 기술 격차가 사실상 소멸(Closed)했다는 점입니다. 미국 실리콘밸리 진영의 모델들과 중국 테크 진영의 가중치 공개(Open-Weight) 모델들이 글로벌 성능 벤치마크(MMLU, HumanEval, MATH 등)에서 대등한 호각세를 보이고 있습니다.

1.3가중치 공개 모델의 질적 성장과 시장 장악¶

• 다운로드 및 커뮤니티 장악: Hugging Face 등 오픈 플랫폼 상에서의 커뮤니티 개발자 인게이지먼트와 다운로드 유량은 미국 위주의 전통 리더인 Llama(Meta)뿐만 아니라, Qwen(Alibaba)과 DeepSeek 같은 아시아 및 글로벌 동서양의 강력한 가중치 공개 모델들로 중심축이 급격히 확장·재편되었습니다.

• 성능 격차의 극적 축소: 거대한 자본을 바탕으로 한 상용 Closed 모델과 가중치 공개 모델 간의 절대 성능 격차는 매우 근소하게 좁혀졌으며, 기업들은 고비용 API 독점 모델 대신 자체 서빙이 가능하고 VRAM 비용을 절감할 수 있는 가중치 공개(Open-Weight) 모델 도입에 가속도를 내고 있습니다.

2소스 공개 및 가중치 공개 생태계를 이끄는 대표 브랜드와 시리즈¶

현재 전 세계 가중치 공개 LLM 생태계는 각각 독창적인 철학과 기술 혁신을 앞세운 다섯 가지 모델 패밀리가 지배하고 있습니다.

2.1Meta Llama 시리즈¶

• 포지션: 소스 공개 및 가중치 공개 LLM 생태계의 탄생을 주도하고 실질적인 글로벌 인프라 표준을 정의한 서방 진영의 리더.

• 핵심 아키텍처 및 특징:

  • Grouped-Query Attention (GQA): Llama 시리즈 모델에 널리 탑재된 GQA 기술은 다중 헤드 어텐션(MHA) 수준의 우수한 생성 품질을 유지하면서도 KV 캐시 메모리 사용량을 수배 이상 줄여 추론 효율성을 혁신했습니다.

  • 초광대역 컨텍스트 창: 수십만 토큰에 달하는 긴 문맥 창을 장착하여 대용량 문서 분석 및 RAG(검색 증강 생성) 시스템 구축에 최적화되었습니다.

  • Edge & Multimodal 확장성: 모바일과 임베디드 기기에서 가볍게 온프레미스로 구동할 수 있는 소형 경량 버전부터 멀티모달(시각 정보 처리)까지 가중치 공개 범위를 다각도로 전개해 왔습니다.

  • 라이선스 정책: 연구 및 상업적 사용을 자유롭게 전개하도록 광범위하게 허용하는 자체 독자 규격(Llama License)을 적용하고 있으나, 월간 이용자 수가 임계점(수억 명 단위)을 초과하는 글로벌 메가 플랫폼 기업에 한해 Meta와의 별도 사전 승인 서면 계약이 요구되는 사용상의 임계 제약이 존재합니다.

2.2Alibaba Qwen 시리즈¶

• 포지션: 동양 테크 진영의 대표 주자이자, 한국어 지원 능력이 극도로 뛰어나 로컬 미세조정(SFT) 실전에서 가장 가치가 높은 실전 강자.

• 핵심 아키텍처 및 특징:

  • 압도적인 다국어 표상 지능: Llama 계열이 서구권 언어 위주로 설계되어 한글 압축률이나 한국어 의미 처리에 약점을 보인 반면, Qwen 시리즈는 처음부터 대규모 다국어 데이터셋을 기반으로 사전 훈련되어 한글 텍스트 전처리 비용과 추론 속도 면에서 비교할 수 없는 효율성을 자랑합니다.

  • 독보적인 코드 지능 (Coder 시리즈): 전용 코딩 모델 라인업은 코딩 테스트 및 소프트웨어 엔지니어링 벤치마크에서 기존 유료 독점 모델과 대등한 코딩 자동화 능력을 보장하여 로컬 개발자들의 최고 선호 모델로 등극했습니다.

  • SFT 실습의 최적 템플릿: Transformers 및 다양한 오픈 툴(Unsloth, TRL 등)과의 호환 명세서가 매우 투명하게 정립되어 있어 로컬 하드웨어(단일 GPU)에서 미세조정을 학습하기 위한 최적의 토대를 제공합니다.

  • 라이선스 정책: 가장 범용적이고 안전한 오픈소스의 사실상 표준인 Apache 2.0 라이선스를 온전히 준수합니다. 기업 수준에서 지식 재산권 및 라이선스 분쟁 걱정 없이 상업 목적의 코드 수정, 포크, 비즈니스 서빙 배포를 100% 완전하게 허용하여 기업 선호도가 극히 높습니다.

2.3DeepSeek 시리즈¶

• 포지션: 극단적인 설계 최적화를 통해 학습 및 서빙 비용을 파괴적으로 절감하고, 강화학습 단독으로 사슬 추론 능력을 극대화한 게임 체인저.

• 핵심 아키텍처 및 특징:

  • Multi-Head Latent Attention (MLA): 어텐션 연산 시 Key-Value 벡터를 고차원의 잠재 공간(Latent Space)으로 강력히 압축하여 VRAM KV 캐시 병목을 극단적으로 방지, 대규모 배치 추론 비용을 기존 트랜스포머 대비 획기적으로 절감시켰습니다.

  • DeepSeekMoE (Mixture of Experts): 전체 수백억~수천억 파라미터 중 토큰당 필요한 극소수 파라미터만 활성화시키는 초경량 동적 라우팅을 실현하여 고사양 모델의 서빙 비용을 일반 Dense 모델의 소수 비율 수준으로 낮췄습니다.

  • 사슬 추론 및 에이전트 혁신 (Reasoning 시리즈):

    • 사람이 지시한 정답 레이블 없이 오직 강화학습의 논리 검증 피드백만으로 스스로 생각하고 정답을 정당화하는 ‘사슬 추론(Chain-of-Thought, CoT)’ 거동을 강하게 발현시켰습니다.

    • 생각의 프로세스를 <think> ... </think> 태그에 출력하며 단계별로 논리 오류를 수정해 나가는 인공지능 에이전트(Agentic Reasoning) 시대를 본격적으로 개막했습니다.

  • 라이선스 정책: 개발자 자유도가 극대화된 초허용 성격의 MIT 라이선스를 채택하고 있습니다. 소스 코드의 이용, 배포, 복제, 개작, 상업적 연동 및 재배포 등에 어떠한 규모나 형태의 사용 제약도 존재하지 않아, 가장 완전하고 완벽한 오픈 생태계 기여 표준으로 꼽힙니다.

2.4Google Gemma 시리즈¶

• 포지션: 구글의 기술적 자존심 and 고급 아키텍처 노하우를 집약하여 소형/경량 서비스 및 모바일 디바이스 구현에 초점을 맞춘 완성도 높은 패밀리.

• 핵심 아키텍처 및 특징:

  • 초고밀도 토큰 당 파라미터 성능: Gemma 시리즈는 일반적인 소형 모델 규격을 뛰어넘는 고밀도 사전 훈련 코퍼스와 강력한 최적화 아키텍처(GQA 및 향상된 RoPE 코딩)를 탑재하여, 매개변수 대비 성능 벤치마크에서 매우 우수한 효용성을 발휘합니다.

  • 아키텍처의 유연성과 확장: 텍스트 생성 전용 모델 외에도, 멀티모달 시각 지능(Gemma 2 Vision 등)과 온디바이스 엣지 최적화에 이르기까지 구글의 탄탄한 생태계(Keras, JAX 등)와 결합하여 폭넓은 개발자 접근성을 자랑합니다.

  • 보안 및 엄격한 정렬 검증: 처음부터 AI 윤리와 인류 정렬 가이드라인을 엄격히 검증하여 설계된 안전 지향 모델로, 기업 내부망 배포 시 법적/도덕적 리스크를 최소화합니다.

  • 라이선스 정책: 상업 사용을 기본 허용하는 구글 고유의 'Gemma 이용 약관(Gemma Terms)'을 장착하고 있습니다. 연구 및 실전용 무료 배포를 보장하지만, 악의적인 무기 개발 금지, 특정 차별 거동 방지 등 안전성 조건에 명시적으로 동의 및 위반하지 않아야 하는 구글 특유의 규제 기반 도덕적 서약 의무가 전제됩니다.

2.5OpenAI GPT-OSS 시리즈¶

• 포지션: 상용 폐쇄형 API 생태계를 독점적으로 이끌던 OpenAI가 개발자 커뮤니티와의 대화합 및 기술 민주화를 위해 전격 공개한 파격적인 가중치 공개 모델 시리즈.

• 핵심 아키텍처 및 특징:

  • 초효율적 MoE(Mixture of Experts) 설계: GPT-OSS 시리즈는 전체 파라미터 규모 중 활성화 연산 파라미터를 극소 비율로 최적화한 혼합 전문가 아키텍처를 도입하여, 추론 레이턴시를 획기적으로 방지하고 소규모 로컬 인프라(VRAM 소모 극소화)에서도 구동이 가능하도록 혁신했습니다.

  • 강화학습 기반 고급 지시 지능: CoT(사슬 추론), 정교한 도구 활용(Tool Use/Function Calling) 능력이 기본 설계 단계부터 강력하게 이식되어 있어 에이전트 빌드 용도로 강력하게 동작합니다.

  • 라이선스 정책: OpenAI가 기존의 상업적 API 독점 구도를 철폐하며 도입한 첫 사례로, 글로벌 표준이자 전면 허용 라이선스인 Apache 2.0 라이선스로 전격 선언되었습니다. 이에 따라 어떠한 특허 또는 소유권 제약 없이 영리 및 비영리 기업 서비스의 전면 통합, 자유로운 커스텀 파생 모델 릴리스가 합법적으로 허용됩니다.

3대표 가중치 공개 모델 비교 요약¶

가중치 공개 모델들의 질적 대도약은 더 이상 딥러닝 연구가 특정 실리콘밸리 빅테크 기업의 API 독점 전유물이 아님을 온천하에 선언했습니다. 다음 장부터는 이들 가중치 공개 모델들의 가중치를 직접 다운로드하고, 우리의 제한된 자원(로컬 GPU) 환경에서 사용자의 명령을 올바르게 이행하는 비서로 길들이는 사후 훈련(Post-training, 정렬)의 구체적인 실전 엔지니어링 과정을 한 단계씩 마스터해 나가겠습니다.