Verificações de qualidade e estatísticas descritivas

Monitoramento de Machine Learning em Python

Hakim Elakhrass

Co-founder and CEO of NannyML

O que são verificações de qualidade e estatísticas descritivas?

A imagem mostra o fluxo de monitoramento com a parte de verificações de qualidade e estatísticas descritivas destacada na etapa de análise automatizada de causa raiz.

  • Detecção de valores ausentes
  • Detecção de valores inéditos
  • Soma, média, desvio padrão, mediana e contagem de linhas
Monitoramento de Machine Learning em Python

Detecção de valores ausentes

  • Menos observações em um bloco
  • Perda de informação valiosa
  • Interpretações e decisões incorretas
# Instantiate the missing values calculator module
ms_calc = nannyml.MissingValuesCalculator(column_names=["Age"], normalize=True)

# Fit the calculator on the reference set
ms_calc.fit(reference)

# Calculate the rate of the missing values on the analysis set
ms_results = ms_calc.calculate(analysis)
ms_results.plot()
Monitoramento de Machine Learning em Python

Gráfico de valores ausentes

O gráfico mostra os resultados de valores ausentes com o parâmetro normalize definido como True e False.

Monitoramento de Machine Learning em Python

Detecção de valores inéditos

  • Valores de variáveis categóricas que não aparecem no período de referência
  • Aumento de valores inéditos pode deixar o modelo menos confiante em regiões
# Instantiate the unseen values calculator module
us_calc = nannyml.UnseenValuesCalculator(column_names=["Cabin"], normalize=False)

# Fit, calculate and plot the rate of the unseen values
us_calc.fit(reference)
us_results = us_calc.calculate(analysis)
us_results.plot()

A imagem mostra o gráfico de valores inéditos com mudanças no número de valores inéditos.

Monitoramento de Machine Learning em Python

Estatísticas descritivas

  • Soma: útil em dados financeiros para calcular receita ou lucro em um período.
  • Média e Desvio padrão: ajudam a checar drift e na explicabilidade.
  • Mediana: resistente a outliers; útil quando há muitos valores extremos.
  • Contagem de linhas: verifica se há dados suficientes em cada bloco.
sum_calc = nannyml.SummaryStatsSumCalculator(column_names=selected_columns)
avg_calc = nannyml.SummaryStatsAvgCalculator(column_names=selected_columns)
std_calc = nannyml.SummaryStatsStdCalculator(column_names=selected_columns)
med_calc = nannyml.SummaryStatsMedianCalculator(column_names=selected_columns)
rows_calc = nannyml.SummaryStatsRowCountCalculator(column_names=selected_columns)
Monitoramento de Machine Learning em Python

Vamos praticar!

Monitoramento de Machine Learning em Python

Preparing Video For Download...