Interakcja ze zdalnymi repozytoriami DVC
CI/CD dla uczenia maszynowego
Ravi Bhadauria
Machine Learning Engineer
Zdalne repozytoria DVC
- Zdalne repozytoria DVC: lokalizacja przechowywania danych
- Podobne do repozytoriów Git, ale dla danych w pamięci podręcznej
- Zalety używania zdalnych repozytoriów
- Synchronizacja dużych plików i katalogów
- Centralizacja lub dystrybucja przechowywania danych
- Oszczędność miejsca lokalnego
- Obsługiwane typy pamięci masowej
- Amazon S3, GCS, Google Drive
- SSH, HTTP, lokalne systemy plików
Konfiguracja zdalnych repozytoriów
- Ustawianie zdalnych repozytoriów poleceniem
dvc remote add - Dla AWS
dvc remote add myAWSremote s3://mybucket
- Dostosowania za pomocą
dvc remote modify
dvc remote modify myAWSremote connect_timeout 300
- Zmiana w
.dvc/config
['remote "myAWSremote"']
url = s3://mybucket
connect_timeout = 300
Repozytoria lokalne i domyślne
- Lokalne repozytoria używane do szybkiego prototypowania
- Korzystanie z katalogów systemowych lub NAS
dvc remote add mylocalremote /tmp/dvc
- Ustawianie domyślnego repozytorium flagą
-d
dvc remote add -d mylocalremote /tmp/dvc
- Domyślne repozytorium przypisane w sekcji
corepliku.dvc/config
[core]
remote = mylocalremote
Wysyłanie i pobieranie danych
Polecenia przesyłania danych
- Wysyłanie:
dvc push <target> - Pobieranie:
dvc pull <target>
- Wysyłanie:
Podobne do
git pushigit pull- Pliki
.dvcsą śledzone przez Git, nie DVC
- Pliki
- Cel może być pojedynczym plikiem:
dvc push data.csv- Lub całą pamięcią podręczną:
dvc push
- Lub całą pamięcią podręczną:
- Nadpisanie domyślnego repozytorium flagą
-r
dvc push -r myAWSremote data.csv
Śledzenie zmian w danych
- Zmiana zawartości pliku, następnie dodanie zmian do datasetu
dvc add /path/to/data/datafile
- Zatwierdzenie zmienionego pliku
.dvcw Git
git add /path/to/datafile.dvc
git commit /path/to/datafile.dvc -m "Dataset updates"
- Wysłanie metadanych do Git
git push origin main
- Przesłanie zmienionego pliku danych
dvc push
Czas na ćwiczenia!
CI/CD dla uczenia maszynowego
