Động lực cho phiên bản dữ liệu

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Ravi Bhadauria

Machine Learning Engineer

Phiên bản hóa dữ liệu là gì?

Định nghĩa
- Theo dõi thay đổi dữ liệu theo thời gian
- Chụp nhanh dữ liệu theo từng lần lặp
- Tương tự phiên bản hóa mã
Lợi ích
- Truy xuất và kiểm tra
- Tính nhất quán, trách nhiệm và nguồn gốc dữ liệu
Ứng dụng
- Khoa học dữ liệu và Máy học
- Kỹ thuật dữ liệu
- Phân tích tài chính, kiểm toán và tuân thủ

Phiên bản hóa dữ liệu vs mã

Phiên bản hóa mã

Phổ biến trong phát triển phần mềm
Dùng công cụ như Git cho kiểm soát phiên bản phi tập trung
Dễ quản lý hơn vì mã nguồn nhỏ

Phiên bản hóa dữ liệu

Tương đối mới (SciDB đề xuất năm 2012)
Chuỗi công cụ như DVC dùng cùng Git
Khó quản lý hơn do kích thước dữ liệu lớn

¹ doi: 10.1109/ICDE.2012.102

Vì sao cần phiên bản dữ liệu trong ML?

Hình về thành phần mô hình ML gồm Mã, Siêu tham số và Dữ liệu

Ảnh hưởng của tập dữ liệu

Dataset A Hình head của dataframe của dataset A

Dataset B Hình head của dataframe của dataset B

Ảnh hưởng của tập dữ liệu

Giữ nguyên siêu tham số, thay đổi tập dữ liệu

Chỉ số	Dataset A	Dataset B
Precision	0.78	0.79
Recall	0.54	0.57
F1 Score	0.64	0.66
Accuracy	0.80	0.81

Ảnh hưởng của siêu tham số

Giữ nguyên tập dữ liệu, thay đổi siêu tham số

Chỉ số	`n_estimators=5`	`n_estimators=10`
Precision	0.78	0.85
Recall	0.54	0.52
F1 Score	0.64	0.65
Accuracy	0.80	0.81

Bố cục bài tập trong Editor

Hình minh họa bố cục bài tập trong trình soạn thảo hiển thị khu vực thư mục, tệp và terminal.

Ayo berlatih!

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Preparing Video For Download...