Hugging Face Datasets

Hugging Face 활용하기

Jacob H. Marquez

Lead Data Engineer

¹ https://huggingface.co/datasets

Datasets 패키지 설치

pip install datasets

🌐 {{2}}에 액세스
📥 {{3}} 다운로드
🔧 {{5}} 사용
🤝 {{6}} 공유

¹ https://huggingface.co/docs/datasets/loading

데이터셋 다운로드

from datasets import load_dataset

data = load_dataset("IVN-RIN/BioBERT_Italian")

split 매개변수

data = load_dataset("IVN-RIN/BioBERT_Italian", split="train")

¹ https://huggingface.co/docs/datasets/v2.15.0/loading

Apache Arrow 데이터셋 형식

Apache Arrow dataset

¹ https://arrow.apache.org/overview/

데이터 조작

data = load_dataset("IVN-RIN/BioBERT_Italian", split="train")


# " bella " 패턴으로 필터링
filtered = data.filter(lambda row: " bella " in row['text'])
print(filtered)

Dataset({
    features: ['text'],
    num_rows: 1122
})

¹ https://huggingface.co/docs/datasets/process#select-and-filter

데이터 조작

# 처음 두 행 선택
sliced = filtered.select(range(2))


print(sliced)

Dataset({features: ['text'], num_rows: 2})

# 첫 번째 행의 'text' 추출
print(sliced[0]['text'])

Concentrazioni atmosferiche di PCDD/PCDF...

¹ https://huggingface.co/docs/datasets/process#select-and-filter

연습해 봅시다!

Hugging Face 활용하기