DVC Remotes कॉन्फ़िगर करना

DVC के साथ डेटा वर्ज़निंग परिचय

Ravi Bhadauria

Machine Learning Engineer

Recap

DVC रिपॉज़िटरी इनिशियलाइज़ करना
- dvc init चलाएँ
- वर्कस्पेस के अंदर रेपो (/path/to/my-project)
DVC cache सेट करना
- .dvc डायरेक्टरी में टेम्प स्टेजिंग एरिया
  - /path/to/my-project/.dvc/cache
- dvc add से टेम्प फ़ाइलें स्टेज करें
अब: DVC Remotes
- एक्सटर्नल स्टोरेज
- एसेट्स ट्रैक और शेयर करें

DVC Remotes: डेटा स्टोरेज का लोकेशन
Git remotes जैसे, पर cached डेटा के लिए
Remotes के फ़ायदे
- बड़े फ़ाइल/डायरेक्टरी सिंक करें
- डेटा स्टोरेज को केंद्रीकृत या वितरित करें
- लोकल स्पेस बचाएँ

DVC वर्कस्पेस से cache और remote तक डेटा फ्लो की रूपरेखा

DVC में समर्थित स्टोरेज प्रकारों का ग्राफ़िक

$ dvc remote add s3_remote \
   s3://mys3bucket

 ['remote "s3_remote"']
     url = s3://mys3bucket

$ dvc remote add gcp_remote \
   gs://myGCPbucket

$ dvc remote add azure_remote \
   azure://mycontainer/path

$ dvc remote add mylocalremote /tmp/dvc

$ dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote

 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote

$ dvc remote modify s3_remote connect_timeout 300

 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300

DVC के साथ डेटा वर्ज़निंग परिचय