Deriva datelor

Machine Learning End-to-End

Joshua Stapleton

Machine Learning Engineer

Necesitatea detectării derivei datelor

Grafic care arată modificarea distribuției bolilor de inimă la diferite vârste în timp - astăzi există mai puține cazuri, apărând la o vârstă mai înaintată

Machine Learning End-to-End

Testul Kolmogorov-Smirnov

  • Utilizat frecvent pentru detectarea derivei datelor
  • Compară diferențele dintre eșantioane pentru a determina similaritatea distribuțională

Două grafice care arată diferența dintre distribuția setului de date de antrenament inițial și un set de date de inferență mai recent afectat de deriva datelor

Machine Learning End-to-End

Utilizarea funcției `ks_2samp()`

  • Funcția ks_2samp() returnează două valori: statistica testului și p-value.
  • Utilizați p-value pentru a accepta/respinge ipoteza nulă a similarității distribuționale.
from scipy.stats import ks_2samp

# load the 1D data distribution samples for comparison
sample_1, sample_2 = training_dataset_sample, current_inference_sample

# perform the KS-test - ensure input samples are numpy arrays
test_statistic, p_value = ks_2samp(sample_1, sample_2)

if p_value < 0.05:
    print("Reject null hypothesis - data drift might be occuring")
else:
    print("Samples are likely to be from the same dataset")
Machine Learning End-to-End

Corectarea derivei datelor

Actualizați modelul pentru a ține cont de datele noi

  • Reantrenați modelul
  • Reajustați / actualizați parametrii modelului

Date noi/de inferență insuficiente?

  • Reantrenați modelul pe un set de date mixt
  • Creșteți volumul datelor noi

Organigramă care ilustrează procesul de reantrenare și reimplementare a unui model afectat de deriva datelor

Diagramă care arată cum se reantrenează periodic un model pe volume crescânde de date noi, pe măsură ce acestea devin disponibile în timp

Machine Learning End-to-End

Resurse suplimentare pentru detectarea și corectarea derivei datelor

Machine Learning End-to-End

Să exersăm!

Machine Learning End-to-End

Preparing Video For Download...