डेटा क्वालिटी जाँचें और समरी स्टैटिस्टिक्स

Python में मशीन लर्निंग मॉनिटरिंग

Hakim Elakhrass

Co-founder and CEO of NannyML

डेटा क्वालिटी जाँचें और समरी स्टैटिस्टिक्स क्या हैं?

चित्र में मॉनिटरिंग वर्कफ़्लो दिखा है, जहाँ ऑटोमेटेड root cause analysis स्टेप में data quality checks और summary statistics हाइलाइट हैं.

Missing value detection
Unseen value detection
Summation, average, standard deviation, median और row counts

Missing values detection

किसी chunk में observations कम होना
मूल्यवान जानकारी का नुकसान
गलत व्याख्या और निर्णय

# Instantiate the missing values calculator module
ms_calc = nannyml.MissingValuesCalculator(column_names=["Age"], normalize=True)

# Fit the calculator on the reference set
ms_calc.fit(reference)

# Calculate the rate of the missing values on the analysis set
ms_results = ms_calc.calculate(analysis)
ms_results.plot()

Missing values प्लॉट

प्लॉट में normalize पैरामीटर True और False पर सेट होने पर missing values के नतीजे दिखे हैं.

Unseen values detection

Categorical फीचर वैल्यू जो reference पीरियड में मौजूद नहीं हैं
Unseen values बढ़ने से कुछ regions में मॉडल का confidence घट सकता है

# Instantiate the unseen values calculator module
us_calc = nannyml.UnseenValuesCalculator(column_names=["Cabin"], normalize=False)

# Fit, calculate and plot the rate of the unseen values
us_calc.fit(reference)
us_results = us_calc.calculate(analysis)
us_results.plot()

चित्र में unseen values प्लॉट दिखा है, जहाँ unseen values की संख्या में बदलाव हैं.

समरी स्टैटिस्टिक्स

Summation: फाइनेंशियल डेटा में किसी अवधि का revenue या profit निकालने में उपयोगी.
Mean और Standard Deviation: data drift चेक और explainability में सहायक.
Median: outliers के प्रति robust, इसलिए extreme values वाले फीचर्स में उपयोगी.
Row Counts: जाँचें कि हर chunk में पर्याप्त डेटा है या नहीं.

sum_calc = nannyml.SummaryStatsSumCalculator(column_names=selected_columns)
avg_calc = nannyml.SummaryStatsAvgCalculator(column_names=selected_columns)
std_calc = nannyml.SummaryStatsStdCalculator(column_names=selected_columns)
med_calc = nannyml.SummaryStatsMedianCalculator(column_names=selected_columns)
rows_calc = nannyml.SummaryStatsRowCountCalculator(column_names=selected_columns)

अभ्यास करते हैं!

Python में मशीन लर्निंग मॉनिटरिंग