Interakcja ze zdalnymi repozytoriami DVC

Wprowadzenie do wersjonowania danych z DVC

Ravi Bhadauria

Machine Learning Engineer

Przesyłanie i pobieranie danych

  • Przenoszenie danych z pamięci podręcznej do zdalnego DVC
$ dvc push <target>

$ dvc pull <target>
  • Docelowe elementy to pojedyncze pliki
$ dvc push data.csv
Wprowadzenie do wersjonowania danych z DVC

Przesyłanie i pobieranie danych

  • Wypchnij całą pamięć podręczną
$ dvc push
  • Zaktualizuj pamięć podręczną bez zmiany obszaru roboczego
$ dvc fetch
  • Nadpisz domyślne zdalne repozytorium flagą -r
$ dvc push -r aws_remote data.csv
Wprowadzenie do wersjonowania danych z DVC

Podobieństwa z Git

dvc pull

  • Funkcja: Pobiera dane ze zdalnego repozytorium do obszaru DVC

  • Zastosowanie: Duże zbiory danych lub artefakty modeli

dvc push

  • Funkcja: Przesyła dane do zdalnego magazynu

  • Zastosowanie: Udostępnianie lub przechowywanie artefaktów

git pull

  • Funkcja: Pobiera/scala dane ze zdalnego repozytorium Git

  • Zastosowanie: Synchronizacja lokalnej gałęzi z zdalną

git push

  • Funkcja: Przesyła lokalne zmiany do zdalnego repozytorium

  • Zastosowanie: Udostępnianie zmian w zdalnym Git

Wprowadzenie do wersjonowania danych z DVC

Wersjonowanie danych

  • Plik .dvc jest śledzony przez Git, nie DVC

  • Umożliwia to przełączenie się na określoną wersję pliku danych

  • Przełącz plik .dvc

$ git checkout <commit_hash|tag|branch>
  • Pobierz dane z MD5 wskazanym w pliku .dvc
$ dvc checkout <target>
Wprowadzenie do wersjonowania danych z DVC

Śledzenie zmian w danych

  • Zmień zawartość pliku danych, następnie dodaj zmiany
$ dvc add <target>
  • Zatwierdź zmieniony plik .dvc w Git
$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"
  • Wypchnij metadane do Git
$ git push origin main
  • Prześlij zmieniony plik danych
$ dvc push
Wprowadzenie do wersjonowania danych z DVC

Czas na ćwiczenia!

Wprowadzenie do wersjonowania danych z DVC

Preparing Video For Download...