DVC फीचर्स और उपयोग के मामले

DVC के साथ डेटा वर्ज़निंग परिचय

Ravi Bhadauria

Machine Learning Engineer

DVC फीचर्स और उपयोग के मामले

कवर किए गए टॉपिक

डेटा और मॉडल वर्ज़निंग
DVC Pipelines
मेट्रिक्स और प्लॉट ट्रैकिंग

एडवांस्ड टॉपिक (कवर नहीं)

एक्सपेरिमेंट ट्रैकिंग
मशीन लर्निंग के लिए CI/CD
डेटा रजिस्ट्री

डेटा और मॉडल वर्ज़निंग

विशिष्ट Git कमिट्स से जोड़कर डेटा और मॉडल की वर्ज़निंग का स्कीमैटिक

¹ https://dvc.org/doc/use-cases/versioning-data-and-models

Pipelines

मॉडल ट्रेनिंग स्टेप की पाइपलाइन का स्कीमैटिक

dvc.yaml में पाइपलाइन परिभाषित करें

stages:
  train:
    cmd: python train.py

    deps:
      - code/train.py
      - data/input_data.csv
      - params/params.json

    outs:
      - model_output/model.pkl

dvc repro से रन करें.

मेट्रिक्स और प्लॉट्स ट्रैक करना

$ dvc metrics diff
Path                  Metric    HEAD     workspace    Change
dvclive/metrics.json  AUC       0.78912  0.18114      -0.60798
dvclive/metrics.json  TP        215      768          553

DVC प्लॉट्स का उपयोग कर ML प्रयोगों में AUC मेट्रिक्स की तुलना

¹ https://dvc.org/doc/command-reference/plots/diff

एक्सपेरिमेंट ट्रैकिंग

एक्सपेरिमेंट चलाएँ और मेट्रिक्स लॉग करें
- dvc repro
- dvc exp save
वैकल्पिक रूप से, दोनों स्टेप जोड़कर dvc exp run चलाएँ
एक्सपेरिमेंट्स कस्टम Git रेफरेंसेज़ होते हैं
- Git कमिट्स का फुलाव रोकते हैं
- ज़रूरत पर dvc exp save से सेव करें
dvc exp show से विज़ुअलाइज़ करें

Machine Learning के लिए CI/CD

CI/CD के लिए DVC और CML की अवधारणा छवि

¹ Picture credits: https://dvc.org/doc/use-cases/ci-cd-for-machine-learning

डेटा रजिस्ट्री

डेटा रजिस्ट्री के रूप में DVC की छवि

¹ Picture credits: https://dvc.org/doc/use-cases/data-registry

अभ्यास करते हैं!

DVC के साथ डेटा वर्ज़निंग परिचय