DVC remotes के साथ इंटरैक्ट करना

Machine Learning के लिए CI/CD

Ravi Bhadauria

Machine Learning Engineer

DVC Remotes समझना

DVC Remotes: डेटा स्टोरेज का स्थान
Git remotes जैसे, पर cached डेटा के लिए
remotes के फायदे
- बड़े फाइल्स और डायरेक्ट्रीज़ सिंक करें
- डेटा स्टोरेज को केंद्रीकृत या वितरित करें
- लोकल स्पेस बचाएँ
सपोर्टेड स्टोरेज टाइप्स
- Amazon S3, GCS, Google Drive
- SSH, HTTP, लोकल फाइल सिस्टम्स

dvc remote add myAWSremote s3://mybucket

dvc remote modify myAWSremote connect_timeout 300

 ['remote "myAWSremote"']
     url = s3://mybucket
     connect_timeout = 300

dvc remote add mylocalremote /tmp/dvc

dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

डेटा ट्रांसफर कमांड्स
- Remote पर push: dvc push <target>
- Remote से pull: dvc pull <target>
git push और git pull जैसे
- .dvc फाइलें Git द्वारा ट्रैक होती हैं, DVC द्वारा नहीं
टारगेट व्यक्तिगत फाइल हो सकता है: dvc push data.csv
- या पूरा cache: dvc push
-r फ्लैग से डिफॉल्ट remote ओवरराइड करें

dvc push -r myAWSremote data.csv

dvc add /path/to/data/datafile

git add /path/to/datafile.dvc
git commit /path/to/datafile.dvc -m "Dataset updates"

git push origin main

dvc push

Machine Learning के लिए CI/CD