Date lipsă și imputare

Introducere în Python în Power BI

Jacob H. Marquez

Data Scientist

Ce sunt datele lipsă?

Valori comune pentru „lipsă":

  • null
  • NA
  • 99
  • ""
Introducere în Python în Power BI

Ce sunt datele lipsă?

Valori comune pentru „lipsă":

  • null
  • NA
  • 99
  • ""
entity year fished
Australia 1988 153148
Australia 1989 null
Australia 1990 567895
Australia 1991 632987
Australia 1992 643578
Australia 1993 null
Introducere în Python în Power BI

De ce lipsesc datele?

  • Un participant a omis sau a refuzat să răspundă la o întrebare
  • Un participant a abandonat a doua parte a studiului
  • A apărut o eroare în instrumentul de măsurare
  • Legislația privind confidențialitatea restricționează utilizarea datelor
Introducere în Python în Power BI

Lipsesc aleatoriu?

Lipsă aleatoare

Tabel cu precipitații, în inci, pentru trei orașe - Seattle, New York City și Paris.

Introducere în Python în Power BI

Lipsesc aleatoriu?

Lipsă non-aleatoare

Tabel cu precipitații, în inci, pentru trei orașe - Seattle, New York City și Paris. Un rând din Seattle lipsește.

Introducere în Python în Power BI

Lipsesc aleatoriu?

Lipsă non-aleatoare

Tabel cu precipitații, în inci, pentru trei orașe - Seattle, New York City și Paris. Un rând din Seattle lipsește.

  • Instrumentul nu detectează valori mici
  • Anumite grupuri sunt puțin dispuse să divulge informații
Introducere în Python în Power BI

Cum se tratează datele lipsă?

Lipsă non-aleatoare

  • Întrerupeți analiza
  • Înțelegeți motivele datelor lipsă
  • Colectați mai multe date
  • Documentați clar limitele și ipotezele

Lipsă aleatoare

  • Ștergeți observațiile
  • Adăugați o variabilă indicator: 1 dacă lipsește, 0 dacă nu
  • Imputare
Introducere în Python în Power BI

Imputare

Definiție: înlocuirea unei valori lipsă cu alta.

Tipuri de imputare:

  • Medie
  • Mediană
  • Mod
  • Valoarea anterioară sau următoare

Recomandat când cel mult 5% din valorile coloanei lipsesc.

Nu uitați să sortați valorile!

Introducere în Python în Power BI

Imputare - Exemplu

Lipsă aleatoare

Tabel cu precipitații, în inci, pentru trei orașe - Seattle, New York City și Paris - cu observații lipsă.

Imputare prin mediană

Tabel cu precipitații, în inci, pentru trei orașe - Seattle, New York City și Paris. Observațiile lipsă au fost completate cu mediana orașului.

Introducere în Python în Power BI

Set de date

Invoice StockCode Description Quantity InvoiceDate Price Customer ID
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Introducere în Python în Power BI

Să exersăm!

Introducere în Python în Power BI

Preparing Video For Download...