Berinteraksi dengan DVC remote
CI/CD untuk Machine Learning
Ravi Bhadauria
Machine Learning Engineer
Memahami DVC Remote
- DVC remote: lokasi penyimpanan data
- Mirip Git remote, tetapi untuk data yang di-cache
- Manfaat menggunakan remote
- Sinkronkan file dan direktori besar
- Sentralisasi atau distribusi penyimpanan
- Hemat ruang lokal
- Jenis penyimpanan yang didukung
- Amazon S3, GCS, Google Drive
- SSH, HTTP, sistem file lokal
Menyiapkan Remote
- Atur remote dengan perintah
dvc remote add - Untuk AWS
dvc remote add myAWSremote s3://mybucket
- Kustomisasi dengan
dvc remote modify
dvc remote modify myAWSremote connect_timeout 300
- Perubahan di
.dvc/config
['remote "myAWSremote"']
url = s3://mybucket
connect_timeout = 300
Remote Lokal dan Default
- Remote lokal dipakai untuk prototyping cepat
- Gunakan direktori sistem atau Network Attached Storage
dvc remote add mylocalremote /tmp/dvc
- Tetapkan remote default dengan flag
-d
dvc remote add -d mylocalremote /tmp/dvc
- Remote default ditetapkan di bagian
corepada.dvc/config
[core]
remote = mylocalremote
Mengunggah dan Mengambil Data
Perintah untuk transfer data
- Push ke remote:
dvc push <target> - Pull dari remote:
dvc pull <target>
- Push ke remote:
Mirip
git pushdangit pull.dvcdilacak oleh Git, bukan DVC
- Target bisa file individual
dvc push data.csv- Atau seluruh cache
dvc push
- Atau seluruh cache
- Lewati remote default dengan flag
-r
dvc push -r myAWSremote data.csv
Melacak Perubahan Data
- Ubah isi file data, lalu tambahkan perubahan dataset
dvc add /path/to/data/datafile
- Commit file
.dvcyang berubah ke Git
git add /path/to/datafile.dvc
git commit /path/to/datafile.dvc -m "Dataset updates"
- Push metadata ke Git
git push origin main
- Unggah file data yang berubah
dvc push
Ayo berlatih!
CI/CD untuk Machine Learning
