डेटा वर्ज़निंग का उद्देश्य

DVC के साथ डेटा वर्ज़निंग परिचय

Ravi Bhadauria

Machine Learning Engineer

Data Versioning क्या है?

परिभाषा
- समय के साथ डेटा बदलाव ट्रैक करता है
- इटरेशन पर स्नैपशॉट लेता है
- कोड वर्ज़निंग जैसा
लाभ
- रिकवरी और जाँच-पड़ताल
- डेटा संगतता, जवाबदेही, और लिनेएज
उपयोग
- Data Science और Machine Learning
- Data Engineering
- Financial Analysis, Auditing और Compliance

डेटा बनाम कोड वर्ज़निंग

Code Versioning

सॉफ्टवेयर डेवलपमेंट में प्रसिद्ध
विकेन्द्रीकृत वर्ज़न कंट्रोल के लिए Git जैसे टूल्स उपयोग होते हैं
संभालना आसान क्योंकि कोडबेस छोटे होते हैं

Data Versioning

अपेक्षाकृत नया (SciDB, 2012)
DVC जैसे टूलचेन Git के साथ उपयोग होते हैं
बड़े डेटासेट आकार के कारण प्रबंधन कठिन

¹ doi: 10.1109/ICDE.2012.102

ML में Data Versioning क्यों?

कोड, हाइपरपैरामीटर्स और डेटा से बने ML मॉडल का चित्र

डेटासेट का प्रभाव

Dataset A Dataset A के डेटाफ़्रेम हेड की छवि

Dataset B Dataset B के डेटाफ़्रेम हेड की छवि

डेटासेट का प्रभाव

हाइपरपैरामीटर्स समान, डेटासेट बदला गया

Metric	Dataset A	Dataset B
Precision	0.78	0.79
Recall	0.54	0.57
F1 Score	0.64	0.66
Accuracy	0.80	0.81

हाइपरपैरामीटर्स का प्रभाव

डेटासेट समान, हाइपरपैरामीटर्स बदले गए

Metric	`n_estimators=5`	`n_estimators=10`
Precision	0.78	0.85
Recall	0.54	0.52
F1 Score	0.64	0.65
Accuracy	0.80	0.81

एडिटर एक्सरसाइज़ लेआउट

फ़ोल्डर, फ़ाइल, और टर्मिनल क्षेत्र वाले एडिटर अभ्यास लेआउट का एनोटेटेड चित्र.

अभ्यास करते हैं!

DVC के साथ डेटा वर्ज़निंग परिचय

Preparing Video For Download...