Bộ dữ liệu Hugging Face

Làm việc với Hugging Face

Jacob H. Marquez

Lead Data Engineer

Bộ dữ liệu HF 1

¹ https://huggingface.co/datasets

Bộ dữ liệu HF 2

¹ https://huggingface.co/datasets

Cài đặt gói Datasets

pip install datasets

🌐 Truy cập
📥 Tải
🔧 Sử dụng
🤝 Chia sẻ

Bộ dữ liệu HF

¹ https://huggingface.co/docs/datasets/loading

Tải xuống một bộ dữ liệu

from datasets import load_dataset

data = load_dataset("IVN-RIN/BioBERT_Italian")

Tham số split

data = load_dataset("IVN-RIN/BioBERT_Italian", split="train")

¹ https://huggingface.co/docs/datasets/v2.15.0/loading

Định dạng bộ dữ liệu Apache Arrow

Bộ dữ liệu Apache Arrow

¹ https://arrow.apache.org/overview/

Xử lý dữ liệu

data = load_dataset("IVN-RIN/BioBERT_Italian", split="train")


# Lọc mẫu " bella "
filtered = data.filter(lambda row: " bella " in row['text'])
print(filtered)

Dataset({
    features: ['text'],
    num_rows: 1122
})

¹ https://huggingface.co/docs/datasets/process#select-and-filter

Xử lý dữ liệu

# Chọn hai hàng đầu tiên
sliced = filtered.select(range(2))


print(sliced)

Dataset({features: ['text'], num_rows: 2})

# Lấy 'text' của hàng đầu tiên
print(sliced[0]['text'])

Concentrazioni atmosferiche di PCDD/PCDF...

¹ https://huggingface.co/docs/datasets/process#select-and-filter

Ayo berlatih!

Làm việc với Hugging Face