Konfigurace vzdálených úložišť DVC

Úvod do verzování dat s DVC

Ravi Bhadauria

Machine Learning Engineer

Rekapitulace

Inicializace repozitáře DVC
- Spusťte dvc init
- Repozitář v pracovním prostoru (/path/to/my-project)
Nastavení mezipaměti DVC
- Dočasná pracovní oblast v adresáři .dvc
  - /path/to/my-project/.dvc/cache
- Přidání souborů příkazem dvc add
Nyní: vzdálená úložiště DVC
- Externí úložiště
- Sledování a sdílení prostředků

Vzdálená úložiště DVC: umístění pro ukládání dat
Podobná vzdáleným úložištím Git, ale pro uložená data
Výhody vzdálených úložišť
- Synchronizace velkých souborů a adresářů
- Centralizované nebo distribuované ukládání dat
- Úspora lokálního prostoru

Schéma toku dat z pracovního prostoru DVC do mezipaměti a vzdáleného úložiště

Grafika podporovaných typů úložišť v DVC

$ dvc remote add s3_remote \
   s3://mys3bucket

 ['remote "s3_remote"']
     url = s3://mys3bucket

$ dvc remote add gcp_remote \
   gs://myGCPbucket

$ dvc remote add azure_remote \
   azure://mycontainer/path

$ dvc remote add mylocalremote /tmp/dvc

$ dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote

 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote

$ dvc remote modify s3_remote connect_timeout 300

 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300

Úvod do verzování dat s DVC