문서

pip install sentence-transformers faiss-cpu

from datasets import load_dataset

dataset_id = 'codebasic/aihub-koen-translation-integrated-base-1m'
한영쌍 = load_dataset(dataset_id)

import pandas as pd

특허데이터 = 한영쌍.filter(lambda x: x['source'] in [563]).remove_columns(['en', 'source'])
특허데이터 = 특허데이터.rename_column('ko', 'text')
pd.DataFrame(특허데이터['train'].shuffle().take(5))

from sentence_transformers import SentenceTransformer

# 한국어 SBERT 모델
문서인코더 = SentenceTransformer("snunlp/KR-SBERT-V40K-klueNLI-augSTS")

문서임베딩 = 문서인코더.encode(특허데이터['train']["text"], convert_to_numpy=True)

import faiss

dimension = 문서임베딩.shape[1]
index = faiss.IndexFlatL2(dimension)
index.add(문서임베딩)

faiss.write_index(index, "patent_index.faiss")

# 사용자 질문
query = "컴퓨터 관련 특허"
query_embedding = 문서인코더.encode([query], convert_to_numpy=True)

# 유사 문서 검색 (상위 5개)
index = faiss.read_index("patent_index.faiss")
D, I = index.search(query_embedding, k=5)

# 검색된 문서 출력
for i in I[0]:
    print(특허데이터['train']["text"][i])

from sentence_transformers import SentenceTransformer

# 한국어 SBERT 모델
문서인코더 = SentenceTransformer("snunlp/KR-SBERT-V40K-klueNLI-augSTS")

# 예시 질문
question = "컴퓨터 관련 특허를 획득하기 위해서는 어떤 절차가 필요한가요?"

# 질문 임베딩 및 검색
question_embedding = 문서인코더.encode([question], convert_to_numpy=True)
D, I = index.search(question_embedding, k=2)

# 검색된 문서 추출
retrieved_docs = [특허데이터['train']['text'][i] for i in I[0]]
context = "\n".join(retrieved_docs)
print(f'검색된 문서:\n{context}')

import numpy as np
from sentence_transformers import SentenceTransformer

# (표시 이름, 모델 ID, 질의에 instruction을 붙일지)
모델목록 = [
    ("KR-SBERT", "snunlp/KR-SBERT-V40K-klueNLI-augSTS", False),
    ("Qwen3-Embedding-0.6B", "Qwen/Qwen3-Embedding-0.6B", True),
]

문서표본 = 특허데이터['train']['text'][:200]   # 비교용 표본
질문 = "컴퓨터 관련 특허"

def 상위문서(인코더, use_query_prompt, k=3):
    문서벡터 = 인코더.encode(문서표본, convert_to_numpy=True, normalize_embeddings=True)
    옵션 = {"prompt_name": "query"} if use_query_prompt else {}
    질문벡터 = 인코더.encode([질문], convert_to_numpy=True, normalize_embeddings=True, **옵션)
    점수 = (질문벡터 @ 문서벡터.T)[0]          # 정규화 벡터의 내적 = 코사인 유사도
    return [(문서표본[i], float(점수[i])) for i in np.argsort(-점수)[:k]]

for 이름, 모델id, use_q in 모델목록:
    인코더 = SentenceTransformer(모델id)
    print(f"\n[{이름}]")
    for 순위, (문서, 점수) in enumerate(상위문서(인코더, use_q), 1):
        print(f"  {순위}. ({점수:.3f}) {문서}")

def split_text(text, chunk_size=300, overlap=50):
    chunks = []
    start = 0
    while start < len(text):
        end = start + chunk_size
        chunks.append(text[start:end])
        start = end - overlap  # 다음 청크를 overlap만큼 겹쳐 시작
    return chunks

def reorder_documents(docs):
    """
    유사도 점수가 높은 핵심 문서를 프롬프트의 양끝(처음과 끝)으로 재정렬하여
    Lost in the Middle 현상을 극복하도록 정렬합니다.
    """
    sorted_docs = []
    # 홀수 인덱스는 왼쪽에 쌓고, 짝수 인덱스는 오른쪽에 쌓는 방식으로 분산 정렬
    left = True
    for doc in docs:
        if left:
            sorted_docs.insert(0, doc)
        else:
            sorted_docs.append(doc)
        left = not left
    return sorted_docs

# 재배치 적용
reordered_docs = reorder_documents(retrieved_docs)
print("[원본 검색 순서 (상위 -> 하위)]")
for idx, doc in enumerate(retrieved_docs):
    print(f"{idx+1}: {doc[:60]}...")

print("\n[재배치 정렬 순서 (상위 문서를 처음과 끝으로 배치)]")
for idx, doc in enumerate(reordered_docs):
    print(f"{idx+1}: {doc[:60]}...")

import re

def simple_compress_context(text):
    """
    정규식을 이용해 중복 단어와 조사를 제거하는 가벼운 휴리스틱 컨텍스트 압축 헬퍼 함수입니다.
    실제 배포 환경에서는 LLMLingua 등 정보 엔트로피 기반의 소형 모델을 사용해 5~10배 수준까지 압축합니다.
    """
    # 중복 공백 제거
    compressed = re.sub(r'\s+', ' ', text)
    # 한글 조사 및 중복된 문맥적 특이점 정제
    compressed = compressed.replace("본 발명은", "[발명]")
    compressed = compressed.replace("에 관한 것이다.", "")
    return compressed.strip()

raw_context = "\n".join(reordered_docs)
compressed_context = simple_compress_context(raw_context)

print(f"원본 컨텍스트 크기: {len(raw_context)} 자")
print(f"압축된 컨텍스트 크기: {len(compressed_context)} 자 (절감률: {(1 - len(compressed_context)/len(raw_context))*100:.1f}%)")

# 다음 생성 셀에서 압축 및 재배치된 컨텍스트를 사용하도록 설정
context = compressed_context

from transformers import PreTrainedTokenizerFast, GPT2LMHeadModel

tokenizer = PreTrainedTokenizerFast.from_pretrained("skt/kogpt2-base-v2")
model = GPT2LMHeadModel.from_pretrained("skt/kogpt2-base-v2")

# 질문 + 검색 문서 기반 생성 입력
prompt = f"{context}\n\n질문: {question}\n답변:"

input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids, max_new_tokens=256, do_sample=True, top_p=0.95, top_k=50)

answer = tokenizer.decode(output[0], skip_special_tokens=True)
print("생성된 답변:\n", answer)