Hugging Face Datasets

Hugging Face ile Çalışmak

Jacob H. Marquez

Lead Data Engineer

¹ https://huggingface.co/datasets

Datasets paketinin kurulumu

pip install datasets

🌐 {{2}} öğesine erişin
📥 {{3}} indirin
🔧 {{5}} kullanın
🤝 {{6}} paylaşın

¹ https://huggingface.co/docs/datasets/loading

Bir veri kümesi indirme

from datasets import load_dataset

data = load_dataset("IVN-RIN/BioBERT_Italian")

Split parametresi

data = load_dataset("IVN-RIN/BioBERT_Italian", split="train")

¹ https://huggingface.co/docs/datasets/v2.15.0/loading

Apache Arrow veri kümesi biçimleri

Apache Arrow veri kümesi

¹ https://arrow.apache.org/overview/

Veri işleme

data = load_dataset("IVN-RIN/BioBERT_Italian", split="train")


# " bella " desenine göre filtrele
filtered = data.filter(lambda row: " bella " in row['text'])
print(filtered)

Dataset({
    features: ['text'],
    num_rows: 1122
})

¹ https://huggingface.co/docs/datasets/process#select-and-filter

Veri işleme

# İlk iki satırı seç
sliced = filtered.select(range(2))


print(sliced)

Dataset({features: ['text'], num_rows: 2})

# İlk satırın 'text' alanını al
print(sliced[0]['text'])

Concentrazioni atmosferiche di PCDD/PCDF...

¹ https://huggingface.co/docs/datasets/process#select-and-filter

Hadi pratik yapalım!

Hugging Face ile Çalışmak