Wersjonowanie zbiorów danych z Data Version Control

CI/CD dla uczenia maszynowego

Ravi Bhadauria

Machine Learning Engineer

Dlaczego wersjonowanie danych jest ważne

Wersjonowanie zapewnia historyczny zapis zmian w danych
Wersjonowanie danych jest kluczowe
- Reprodukowalność
- Eksperymenty i iteracje
- Współpraca
- Śledzenie i debugowanie błędów
- Monitorowanie i utrzymanie modelu
- Audyt i walidacja

Data Version Control (DVC)

DVC: narzędzie do wersjonowania danych
- Zarządza danymi i eksperymentami
- Podobne do Git

Ilustracja koncepcji wersjonowania danych z Git i DVC.

Git śledzi metadane, DVC obsługuje wersjonowanie danych

Magazyn DVC

Dane przechowywane osobno
- SSH, HTTP/HTTPS, lokalny system plików
- Magazyny obiektów AWS, GCP i Azure
Instalacja lokalna

pip install dvc

Inicjalizacja DVC

Inicjalizacja Git: git init
Inicjalizacja DVC

-> dvc init
Initialized DVC repository.
You can now commit the changes to git.

Konfiguruje pliki projektu DVC, gotowe do wersjonowania danych

.dvc
|- .gitignore
|- config
|- tmp

Dodawanie plików do DVC

Dodawanie plików danych poleceniem dvc add <file>

-> dvc add data.csv

Generowane są pliki zastępcze .dvc zawierające metadane
- Każdy śledzony plik ma odpowiadający plik .dvc (data.csv -> data.csv.dvc)
- Zatwierdzane w Git w celu zarządzania wersjami danych
Pamięć podręczna DVC wypełniana jest w .dvc/cache

Pliki danych DVC

Plik danych

-> cat data.csv
This is a sample data file.

Plik data.csv.dvc

-> cat data.csv.dvc
 outs:
 - md5: ea9972ac9f8fa321ea74969e93acc196

   size: 28

   hash: md5

   path: data.csv

Podsumowanie

Wersjonowanie danych zapewnia reprodukowalność i współpracę
DVC: narzędzie do zarządzania wersjami danych, współpracuje z Git
Inicjalizacja: dvc init, dodawanie plików: dvc add <file>
Pliki .dvc przechowują metadane, Git śledzi wersje

Czas na ćwiczenia!

CI/CD dla uczenia maszynowego

Preparing Video For Download...