Konfigurowanie zdalnych repozytoriów DVC

Wprowadzenie do wersjonowania danych z DVC

Ravi Bhadauria

Machine Learning Engineer

Powtórzenie

Inicjowanie repozytorium DVC
- Uruchom dvc init
- Repozytorium w przestrzeni roboczej (/path/to/my-project)
Konfigurowanie pamięci podręcznej DVC
- Tymczasowy obszar przejściowy w katalogu .dvc
  - /path/to/my-project/.dvc/cache
- Pliki tymczasowe dodaje się za pomocą dvc add
Teraz: repozytoria zdalne DVC
- Zewnętrzna pamięć masowa
- Śledzenie i udostępnianie zasobów

Repozytoria zdalne DVC: miejsce przechowywania danych
Podobne do zdalnych repozytoriów Git, ale dla danych buforowanych
Zalety korzystania z repozytoriów zdalnych
- Synchronizacja dużych plików i katalogów
- Centralizacja lub dystrybucja przechowywania danych
- Oszczędność miejsca lokalnego

Schemat przepływu danych z przestrzeni roboczej DVC do pamięci podręcznej i repozytorium zdalnego

Grafika przedstawiająca obsługiwane typy pamięci masowej w DVC

$ dvc remote add s3_remote \
   s3://mys3bucket

 ['remote "s3_remote"']
     url = s3://mys3bucket

$ dvc remote add gcp_remote \
   gs://myGCPbucket

$ dvc remote add azure_remote \
   azure://mycontainer/path

$ dvc remote add mylocalremote /tmp/dvc

$ dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote

 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote

$ dvc remote modify s3_remote connect_timeout 300

 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300

Repozytoria zdalne DVC służą do udostępniania danych i modeli ML
Obsługiwane są lokalne i chmurowe lokalizacje przechowywania
Dodawanie repozytoriów: dvc remote add
- Flaga -d ustawia domyślne repozytorium
Wyświetlanie repozytoriów: dvc remote list
Modyfikowanie repozytoriów: dvc remote modify

Wprowadzenie do wersjonowania danych z DVC