Wat is exploratieve data-analyse?

Exploratory Data Analysis in Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Wat is exploratieve data-analyse?

"Een aanpak om gegevenssets te analyseren en hun belangrijkste kenmerken samen te vatten, vaak met statistische grafieken en andere visualisatiemethoden."

¹ https://en.wikipedia.org/wiki/Exploratory_data_analysis

Zes stappen voor EDA

De datastructuur begrijpen
Ontbrekende data opsporen
De data beschrijven met beschrijvende statistieken en verdelingen
Uitschieters vinden
Relaties tussen variabelen onderzoeken en kwantificeren
Hypothesen vormen

Zes stappen voor EDA

De datastructuur begrijpen
Ontbrekende data opsporen
De data beschrijven met beschrijvende statistieken en verdelingen
Uitschieters vinden
Relaties tussen variabelen onderzoeken en kwantificeren
Hypothesen vormen

1. De datastructuur begrijpen

Continu

Numerieke variabelen die vaak een oneindig aantal waarden kunnen aannemen

Aantal sterren in de ruimte
Doorklikratio's
Afstand tussen twee steden

Categorisch

Niet-numerieke variabelen, meestal tekst, met twee of meer groepen

Woningtypen
Land
Bedrijf

2. Ontbrekende data opsporen

Missing at random

Een matrix van negen bij vier met sets van drie rijen gegroepeerd voor drie steden: Seattle, New York City en Parijs. Er staan waarden (inches regenval) in 30 cellen en 6 zijn willekeurig leeg over de drie stadsgroepen.

Missing not at random

Een matrix van negen bij vier met sets van drie rijen gegroepeerd voor drie steden: Seattle, New York City en Parijs. Er staan waarden (inches regenval) in 30 cellen en 4 zijn willekeurig leeg, maar alleen in Seattle.

2. Omgaan met ontbrekende data

Dezelfde matrix van negen bij vier maar nu is de bovenste rij verwijderd, om het verwijderen van lege cellen te tonen.

Dezelfde matrix van negen bij vier maar nu heeft de bovenste rij waarden, om imputatie met de mediaan te tonen.

3. De data beschrijven

Minimum
Maximum
Gemiddelde: som van alle waarden gedeeld door het aantal observaties
Mediaan: de middelste waarde in een reeks
Standaarddeviatie: gemiddelde afwijking van het gemiddelde over alle punten

3. Beschrijf de data met verdelingen.

Een histogram van lengtes van mensen met de lengte op de x-as en het aantal observaties op de y-as.

Mediaan en gemiddelde zijn gelijk
Een symmetrische curve

3. De data beschrijven met verdelingen

Een histogram van huishoudinkomen met de inkomens op de x-as en het aantal observaties op de y-as. Het histogram is links breed en wordt smaller naar rechts.

Mediaan < Gemiddelde
"Rechts-scheef": de staart ligt rechts

Een histogram van online tijd met de tijd op de x-as en het aantal observaties op de y-as. Het histogram is links smal en wordt breder naar rechts.

Mediaan > Gemiddelde
"Links-scheef": de staart ligt links

De gegevensset: AirBnB-vermeldingen

Een afbeelding van de airbnb-gegevensset met vijf kolommen: listing_id, host_id, host_since (een datumkolom), city en price.

Laten we oefenen!

Exploratory Data Analysis in Power BI