Najlepsze praktyki walidacji danych

Odpowiedzialne zarządzanie danymi w AI

Maria Prokofieva

Lead ML engineer

Zakres materiału

• Analiza podgrup
• Brakujące wartości
• Usuwanie wartości odstających
• Korekta niespójności danych
• Skalowanie cech
• Kodowanie cech
• Redukcja wymiarowości

Analiza podgrup

Brakujące dane

• Częste w dużych zbiorach danych
• Usuwanie danych
• Imputacja i metody oparte na modelach
• Analiza podgrup do walidacji

Usuwanie wartości odstających

• Metody statystyczne: z-score, IQR lub skalowanie odporne na wartości odstające
• Walidacja pod kątem równego traktowania segmentów danych

Niespójności danych

• Jakość danych wpływa na integralność i niezawodność modelu
• Standaryzacja danych i reguły walidacji
• Normalizacja w podgrupach

Skalowanie cech

• Skalowanie cech w celu przekształcenia danych wejściowych
• Walidacja przez sprawdzenie rozkładów w grupach

Kodowanie cech

• Ocena wpływu kodowania na wyniki
• Sprawdzenie błędów systematycznych i utraty informacji
• Sprawdzenie przeuczenia
• Zastosowanie regularyzacji i redukcji wymiarowości

Redukcja wymiarowości

• Redukcja cech przy zachowaniu kluczowych informacji
• Może wprowadzać błąd systematyczny
• Stosowanie technik uwzględniających sprawiedliwość, np. t-SNE

Doradca finansowy

• Cechy: „Roczny dochód" i „Częstotliwość inwestowania"
• Korekta wartości odstających i skalowanie
• Analiza podgrup

Czas na ćwiczenia!

Odpowiedzialne zarządzanie danymi w AI