Huggingface

import torch
import transformers
print('PyTorch Version:', torch.__version__)
print('Transformers Version:', transformers.__version__)

from transformers import pipeline

# Hugging Face Hub에서 사전 훈련된 감성 분류 모델 및 토크나이저 자동 다운로드 및 연동
# 'distilbert-base-uncased-finetuned-sst-2-english' 모델 로드
classifier = pipeline(
    "sentiment-analysis", 
    model="distilbert/distilbert-base-uncased-finetuned-sst-2-english"
)

# 한국어 번역 및 임의 문장의 긍정/부정(Positive/Negative) 즉석 추론
sentences = [
    "I absolutely love studying modern AI model hubs and registries!",
    "This software tool is extremely frustrating and buggy."
 ]

results = classifier(sentences)

print("--- 추론 결과 ---")
for sentence, result in zip(sentences, results):
    print(f"문장: '{sentence}'")
    print(f"  예측 결과: {result['label']} (확률값: {result['score']:.4f})")

from transformers import AutoTokenizer, AutoModel

# 사전 학습된 DistilBERT 모델 체크포인트 주소
model_id = "distilbert/distilbert-base-uncased"

# 1. 토크나이저 로드 (Hugging Face Hub의 원격 설정 파일로부터 자동으로 어휘집과 토큰화 룰 탑재)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 2. 인코더 베이스 모델 로드 (가중치 바인딩)
model = AutoModel.from_pretrained(model_id)

# 입력 문장 토큰화
text = "Hello Hugging Face Hub!"
inputs = tokenizer(text, return_tensors="pt") # PyTorch 텐서 형식 반환

# 출력 획득
with torch.no_grad():
    outputs = model(**inputs)

# 히든 스테이트 차원: [배치크기, 시퀀스길이(토큰수), 히든차원(768)]
print("토크나이징 결과 정수 시퀀스:", inputs['input_ids'])
print("최종 인코더 출력 히든 스테이트 형태(Shape):", outputs.last_hidden_state.shape)

~/.cache/huggingface/hub/
├── models--distilbert--distilbert-base-uncased/
│   ├── refs/
│   │   └── main (최신 커밋 해시 문자열을 가리키는 텍스트 파일)
│   ├── blobs/ (물리적인 대용량 원시 데이터 바이너리들이 저장되는 폴더)
│   │   ├── 5f3d4... (가중치 safetensors 파일)
│   │   └── d81a7... (config.json 설정 파일)
│   └── snapshots/
│       └── 1c8ea37d... (커밋 해시 폴더명)
│           ├── config.json -> ../../blobs/d81a7... (심볼릭 링크)
│           └── model.safetensors -> ../../blobs/5f3d4... (심볼릭 링크)

import os
import pandas as pd
from datasets import Dataset

# 1. 로컬에 동적으로 저장된 Hugging Face Bearer Token 읽어오기
token_path = os.path.expanduser("~/.cache/huggingface/token")
hf_token = None
if os.path.exists(token_path):
    with open(token_path, "r", encoding="utf-8") as f:
        hf_token = f.read().strip()

# 2. 신규 Storage Bucket 주소 정의 및 스트리밍 로딩 테스트
# 예제 버킷: 한영 번역 말뭉치 저장소
bucket_url = "hf://buckets/codebasic/aihub-koen-translation-integrated-base-1m/train.csv"

try:
    # Pandas의 storage_options를 통해 Hugging Face 토큰 인증 정보를 주입하여 고속 원격 로드
    # 대용량 메모리 절약을 위해 샘플로 상위 5개 행만 로드
    df_sample = pd.read_csv(bucket_url, nrows=5, storage_options={"token": hf_token})
    
    # Pandas DataFrame을 메모리 델타 없이 Hugging Face Dataset으로 즉석 변환
    sample_dataset = Dataset.from_pandas(df_sample)
    
    print("Hugging Face Storage Bucket 데이터 로드 및 Dataset 역변환 성공!")
    print(sample_dataset)
except Exception as e:
    print(f"가상 런타임 제약으로 버킷 스트리밍을 우회했습니다. (사유: {e})")
    print("표준 템플릿 코드:")
    print("""
    df = pd.read_csv('hf://buckets/org/bucket_name/train.csv', storage_options={'token': token})
    dataset = Dataset.from_pandas(df)
    """)