Walidacja danych

Odpowiedzialne zarządzanie danymi w AI

Maria Prokofieva

Lead ML engineer

Plan lekcji

Walidacja danych
Wymiary odpowiedzialności
Finansowy doradca AI

walidacja

Walidacja danych

Bardziej szczegółowe podejście
Sprawdzanie integralności technicznej danych
Ocena rzetelności

walidacja danych

Integralność techniczna

Kompletne dane
Brak duplikatów, błędów i nieaktualnych danych
Zgodność z przepisami prawa
Kontrola dokładności, spójności, kompletności i aktualności

Wymiary odpowiedzialnych danych

Doradca finansowy: integralność techniczna

Rozbieżności i anomalie w danych
Niepoprawnie przypisane pola
Wczesne wykrywanie i korekta

przykład niepoprawnych kategorii

Doradca finansowy: integralność techniczna

Anomalie w okresach i metodach zbierania danych
Regionalne dysproporcje ekonomiczne
Nieoptymalne dla wszystkich grup użytkowników

anomalie w metodach zbierania danych

Ocena rzetelności

Równość szans
Dysproporcjonalny wpływ
Parytet demograficzny
Stosowane na wszystkich etapach projektu

Doradca finansowy:

Każda osoba otrzymuje trafne i korzystne porady
Jednolite rekomendacje dla wszystkich grup demograficznych
Żadna grupa nie jest nieproporcjonalnie poszkodowana

Metody walidacji danych

Identyfikacja kluczowych zmiennych
Analiza rozkładu danych
Czyszczenie danych i testy statystyczne
Równoważenie danych
Sprawdzanie metryk rzetelności
Testowanie modeli na zróżnicowanych zbiorach danych

Doradca finansowy

logo doradcy

Usuwanie wartości odstających i uzupełnianie braków
Walidacja za pomocą statystyk opisowych przed i po
Oversampling dla grupy o niskich dochodach
Sprawdzanie wydajności modelu i metryk rzetelności
Walidacja krzyżowa ze stratyfikacją
Testowanie na danych „niewidzianych"

Czas na ćwiczenia!

Odpowiedzialne zarządzanie danymi w AI

Preparing Video For Download...