DVC Cache और Staging फ़ाइलें

DVC के साथ डेटा वर्ज़निंग परिचय

Ravi Bhadauria

Machine Learning Engineer

DVC Cache

ट्रैक की गई डेटा फ़ाइलों और वर्ज़न के लिए हिडन स्टोरेज
कमिट से पहले टेम्प फ़ाइलें स्टेज करता है
- बड़े डेटासेट और बाइनरी फ़ाइलें जोड़ना बेहतर है
वर्कस्पेस की .dvc डायरेक्टरी में रहता है
- लोकेशन कॉन्फ़िगर करें
```
$ dvc cache dir ~/mycache
```

वर्कस्पेस के अंदर DVC स्ट्रक्चर की इमेज

फ़ाइलें Cache में जोड़ना

डेटा फ़ाइलें dvc में जोड़ें

$ dvc add data.csv

100% Adding...|====================|1/1 [00:00, 53.55file/s]

To track the changes with git, run:
    git add data.csv.dvc
To enable auto staging, run:
    dvc config core.autostage true

.dvc फ़ाइलें

हर DVC-ट्रैक्ड फ़ाइल की अपनी .dvc फ़ाइल होती है
- data.csv -> data.csv.dvc
डेटा फ़ाइल को वर्ज़न करने के लिए git commit -m "data.csv.dvc" उपयोग करें
.dvc फ़ाइलों की सामग्री

outs:

- md5: f38a850818377e97155d22755caa39d0

  size: 16

  hash: md5

  path: data.csv

DVC Cache के साथ इंटरेक्शन

कैश फ़ाइल का पाथ MD5 वैल्यू का उपयोग करता है

$ find .dvc/cache -type f

.dvc/cache/f3/8a850818377e97155d22755caa39d0

डेटासेट का MD5 निकालें

$ md5 data.csv

MD5 (data.csv) = f38a850818377e97155d22755caa39d0

DVC Cache के साथ इंटरेक्शन

वर्बोज़ आउटपुट के लिए dvc add -v उपयोग करें

-v फ़्लैग के साथ dvc add चलाने के आउटपुट की इमेज

कैश से हटाना और सफाई करना

जोड़ी गई फ़ाइलें dvc remove से हटाएँ

$ dvc remove data.csv.dvc

कैश साफ़ करने के लिए dvc gc उपयोग करें
- वर्कस्पेस कैश हटाने हेतु -w फ़्लैग के साथ उपयोग करें

$ dvc gc -w

WARNING: This will remove all cache except items used in the workspace of the current repo.
Are you sure you want to proceed? [y/n]: y
Removed 1 objects from repo cache.

सारांश

DVC कैश कमिट से पहले डेटा फ़ाइलें स्टेज करता है
कैश लोकेशन कॉन्फ़िगर करें
- dvc cache dir ~/mycache
फ़ाइलें कैश में जोड़ें
- dvc add data.csv
- मेटाडेटा वाली .dvc फ़ाइल बनती है
जोड़ी गई फ़ाइलें हटाएँ dvc remove data.csv.dvc
- वर्कस्पेस कैश dvc gc -w से साफ़ करें

अभ्यास करते हैं!

DVC के साथ डेटा वर्ज़निंग परिचय