Verificări ale calității datelor și statistici sumare

Monitorizarea Machine Learning în Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Ce sunt verificările calității datelor și statisticile sumare?

Imaginea prezintă fluxul de monitorizare cu evidențierea etapei de verificări ale calității datelor și statistici sumare în analiza automată a cauzelor.

  • Detectarea valorilor lipsă
  • Detectarea valorilor nevăzute
  • Sumare, medie, deviație standard, mediană și număr de rânduri
Monitorizarea Machine Learning în Python

Detectarea valorilor lipsă

  • Reducerea observațiilor dintr-un interval
  • Pierderea de informații valoroase
  • Interpretări și decizii incorecte
# Instantiate the missing values calculator module
ms_calc = nannyml.MissingValuesCalculator(column_names=["Age"], normalize=True)

# Fit the calculator on the reference set
ms_calc.fit(reference)

# Calculate the rate of the missing values on the analysis set
ms_results = ms_calc.calculate(analysis)
ms_results.plot()
Monitorizarea Machine Learning în Python

Graficul valorilor lipsă

Graficul prezintă rezultatele valorilor lipsă pentru parametrul normalize setat la True și False.

Monitorizarea Machine Learning în Python

Detectarea valorilor nevăzute

  • Valori ale caracteristicilor categorice absente din perioada de referință
  • O creștere a valorilor nevăzute poate reduce încrederea modelului în anumite regiuni
# Instantiate the unseen values calculator module
us_calc = nannyml.UnseenValuesCalculator(column_names=["Cabin"], normalize=False)

# Fit, calculate and plot the rate of the unseen values
us_calc.fit(reference)
us_results = us_calc.calculate(analysis)
us_results.plot()

Imaginea prezintă graficul valorilor nevăzute cu variații ale numărului acestora.

Monitorizarea Machine Learning în Python

Statistici sumare

  • Sumare: Utilă pentru date financiare, calculul veniturilor sau profiturilor.
  • Medie și Deviație standard: Utile pentru detectarea driftului și explicabilitate.
  • Mediană: Rezistentă la valori extreme, utilă pentru caracteristici cu multe valori aberante.
  • Număr de rânduri: Determină dacă există suficiente date în fiecare interval.
sum_calc = nannyml.SummaryStatsSumCalculator(column_names=selected_columns)
avg_calc = nannyml.SummaryStatsAvgCalculator(column_names=selected_columns)
std_calc = nannyml.SummaryStatsStdCalculator(column_names=selected_columns)
med_calc = nannyml.SummaryStatsMedianCalculator(column_names=selected_columns)
rows_calc = nannyml.SummaryStatsRowCountCalculator(column_names=selected_columns)
Monitorizarea Machine Learning în Python

Să exersăm!

Monitorizarea Machine Learning în Python

Preparing Video For Download...