Mengonfigurasi Remote DVC

Pengantar Versioning Data dengan DVC

Ravi Bhadauria

Machine Learning Engineer

Rekap

Inisialisasi repositori DVC
- Jalankan dvc init
- Repo di dalam workspace (/path/to/my-project)
Menyiapkan cache DVC
- Area staging sementara di direktori .dvc
  - /path/to/my-project/.dvc/cache
- Stage file sementara dengan dvc add
Berikutnya: Remote DVC
- Penyimpanan eksternal
- Melacak dan berbagi aset

Remote DVC: Lokasi penyimpanan data
Mirip Git remote, tetapi untuk data yang di-cache
Manfaat menggunakan remote
- Sinkronkan file dan folder besar
- Sentralisasi atau distribusi penyimpanan data
- Hemat ruang lokal

Skema alur data dari workspace DVC ke cache dan remote

Grafik jenis penyimpanan yang didukung DVC

$ dvc remote add s3_remote \
   s3://mys3bucket

 ['remote "s3_remote"']
     url = s3://mys3bucket

$ dvc remote add gcp_remote \
   gs://myGCPbucket

$ dvc remote add azure_remote \
   azure://mycontainer/path

$ dvc remote add mylocalremote /tmp/dvc

$ dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote

 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote

$ dvc remote modify s3_remote connect_timeout 300

 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300

Pengantar Versioning Data dengan DVC